Embed Size (px)
Citation preview
Mot de la présidente
No de février 2003 Volume 16 n° 1
Au nom de tous les membres de votre Conseil d’administration, je profite de ce petit mot pour voustransmettre nos meilleurs vœux de santé, de bonheur et de succès en ce début d’année.
Il me fait plaisir de vous annoncer que la nouvelle équipe de direction de la SQÉP a adopté un pland’action résolument orienté vers le service aux membres. Plusieurs sous-comités sont déjà à piedd’œuvre pour combler vos diverses attentes. C’est d’ailleurs dans cette perspective que NathalieDubois, ex-rédactrice en chef, avait choisi le thème «Les guides d’évaluation» pour le présentBulletin. Il est toutefois important de souligner ici que le choix des guides présentés dans ce numéroest celui des auteurs des articles et que le but visé est d’informer le lecteur de l’existence d’outilsfacilement accessibles, et pour la plupart gratuits. Les textes reflètent donc l’opinion personnellede leurs auteurs et leur publication dans ce Bulletin ne saurait constituer en aucun cas unendossement officiel de la part de la SQÉP.
En outre, nous sommes conscients que l’éventail de guides présentés dans ce numéro est loin d’êtrecomplet. Il serait intéressant d’assurer une certaine pérennité à l’exercice, par exemple en yconsacrant une chronique régulière dans les numéros subséquents. Nous saisissons l’occasion pourvous inviter à alimenter cette chronique et notre site Web en nous faisant part de vos trouvailles.
Cette année, un programme ambitieux d’activités de formation permettra aux membres de mettreà jour leurs connaissances. Ainsi, dans la foulée de la traduction de la série sur les compétencesessentielles (Essential Skills Series), développée et mise en marché par la Société canadienned’évaluation, des formations seront offertes au printemps dans différents coins du Québec. Cesactivités se tiendront dans le cadre d’un projet pilote visant à tester un matériel qui seraultérieurement rendu disponible aux membres qui auront fait la preuve de compétences solides enmatière de formation dans le domaine de l’évaluation.
Des sessions données par le passé seront également reprises à la suite de demandes de plusieursmembres (méthodologie qualitative, comité de pilotage, modèles logiques). De plus, des approchessont actuellement en cours entre des membres du CA et des représentants du milieu communautairepour combler des besoins de formation spécifiques. Enfin, le colloque conjoint («Veille, évaluationet planification stratégique») sera de nouveau à l’affiche en mai. Surveillez les annonces sur le siteWeb, sous les onglets nouveautés, formation et colloques !
Hélène Johnson
Société québécoise d'évaluation de programme
affiliée à la Société canadienne d'évaluation
Février 2003
❍
Hélène Johnson, présidente • Richard Marceau, vice-président •Jacques Gagnon, trésorier • Sylvain Bernier, secrétaire • Yves Bannon, administrateur • Isabelle Brunet,
administratrice • Jim Cullen, administrateur • Jean-François Lehoux, administrateur • Patrick Moran,administrateur • Josianne Moreau, administratrice • Simon Thibault, administrateur
Direction :Patrick Moran
Conseil d'administration de la SQÉP
2
Patrick Moran :Johnson & Roy inc.2406, chemin des Quatre-Bourgeois, bur. 200Sainte-Foy (Québec) G1V 1W5Tél. : (418) 687-0155Télécopieur : (418) [email protected]
Au bout du fil
Secrétariat :199, boul. ValcartierLoretteville (Québec) G2A 2M8Tél. / Télécopieur :(418) 847-9850Courriel : [email protected]
Collaboratrices etcollaborateurs :Yves BannonConstance HerreraValérie HouleHélène JohnsonPatrick MoranValéry Ridde
Équipe permanente :Sylvain BernierSigrid ChoquetteFabrice GagnonJacques GagnonPatrick Moran
Tirage : 425
• Mot de la présidente................................................................... 1
• Éditorial...................................................................................... 2
• Une analyse critique du guide pour l’évaluation de programme enpromotion de la santé : planifier pour mieux agir............................ 3
• Quelques guides accessibles gratuitement sur Internet.......... 6
• Impressions d’une novice en évaluation de programme :Retour sur le 11e colloque annuel de la SQÉP.......................... 8
• Impressions d’un vétéran en évaluation de programme :Retour sur le 11e colloque annuel de la SQÉP.......................... 9
• Présentation du conseil d’administration 2003......................... 12
• Liste des ressources sur l’évaluation......................................... 15
• Cadrer pour livrer l’information. La tâche de l’administrationpublique....................................................................................... 16
• Publication du tout dernier rapport synthèse de la Commissiond’évaluation de l’enseignement collégial : L’application despolitiques institutionnelles d’évaluation des programmes................ 18
Comme le souligne Hélène Johnson dans son «Mot de la présidente», le présentnuméro du Bulletin accorde la priorité au thème «Les guides d’évaluation». ConstanceHerrera présente d’abord une liste de ressources en évaluation de programmedisponibles sur le Web. Pour sa part, Valéry Ridde présente une analyse critique duguide de planification et d’évaluation écrit par Lise Renaud et Mauricio GomezZamudio intitulé «Planifier pour mieux agir», suivie par une description succinctede quelques autres guides d’évaluation concernant le domaine de la santé.
On retrouve par ailleurs dans ce numéro un article de Constance Herrera portantsur le tout dernier rapport synthèse de la Commission d’évaluation de l’enseignementcollégial, L’application des politiques institutionnelles d’évaluation des programmes,de même qu’un article d’Yves Bannon intitulé «Cadrer pour livrer l’information. Latâche de l’administration publique». Enfin, on peut y lire les impressions de ValérieHoule et de Patrick Moran sur le 11e colloque de la SQÉP.
Patrick Moran
Éditorial
Février 2003
❍
lanifier pour mieux agir
3
Une analyse critique du guide pourl’évaluation de programme en promotion de la santé
par Valéry Ridde1
1. Valéry Ridde, doctorant en santé communautaire (Université Laval) et consultant en évaluation2. Renaud, L. et M. Gomez Zamudio, Planifier pour mieux agir (2e édition), Québec, RÉFIPS, 1999,
175 p. ; voir aussi la page Web : http://www.refips.org/planifier.htm.3. Voir la liste complète sur le site consacré au modèle à l’adresse suivante : http://www.ihpr.ubc.ca/
preapps.html.4. Soit Predisposing Reinforcing and Enabling Constructs in Educational/Environnemental Diagno-
sis and Evaluation et Policy Regulatory and Organizational Constructs in Educational and Envi-ronmental Development.
Cet article fournit au lecteur de cebulletin, consacré aux guides enévaluation de programme, une analysecritique d’un guide pour planifier etévaluer un programme dans le domainede la promotion de la santé. Nousprésentons d’abord un compte rendudétaillé de ce guide, puis nous nouspermettons deux commentairesparticuliers sur le processus évaluatifet une remarque d’ordre général surl’intérêt d’une évaluation systématique.
1. Planifier pour mieux agir
Dans cette deuxième édition 2 , LiseRenaud et Mauricio Gomez Zamudiojoignent l’utile à l’agréable, la théorie àla pratique, la planification àl’évaluation, le tout dans un ouvragetrès pédagogique. En fait, pour le prix(modique, plus ou moins 20 $) d’unguide, les lecteurs ont la chance d’endisposer de deux. En effet, les auteursnous décrivent en un peu plus de 150pages deux outils de planification deprogramme dans le domaine de lapromotion de la santé où l’évaluation agrandement sa place.
Il faut avant tout préciser que cetouvrage constitue le fruit d’unecollaboration de plusieurs années entredifférents intervenants québécois. Lepremier modèle proposé concerne laconception et la planification d’unprogramme de promotion de la santé eta bénéficié des commentaires de
nombreux étudiants et également decritiques d’un comité de spécialistes enla matière. Ce modèle est une adaptationfrancophone d’un ouvrage aujourd’huicélèbre au plan international, dont latroisième édition vient de paraître etqui trouve ses origines dans des travauxdes années 60 conduits par Green etKreuter : Health Promotion Planning.An Educational and EcologicalApproach (éditions Mayfield Publi-shing). Il faut noter que plus de 700publications scientifiques à travers lemonde ont témoigné de la pertinence del’utilisation de ce modèle de planifica-tion3 .
Ainsi, dans la première partie du guideproposé par Renaud et Gomez Zamudio,nous découvrons le résumé des notionset concepts clefs associés au modèleP R E C E D E / P R O C E E D 4 . C e sinformations sont suffisammentvulgarisées pour que tout un chacun ytrouve son compte et elles sont assezprécises pour que leur appropriation etleur mise en application puissents’opérer. Ce modèle de planificationcomprend neuf étapes distinctes. Unereprésentation graphique met enévidence les liens établis entre chacuned’entre elles (voir figure). Le modèlerepose sur le principe selon lequel lasanté et le bien-être sont indissociables.Il s’agit là de ce que l’on appelle uneapproche écologique de la santé.Ensuite, deux éléments fondamentauxsous-tendent la proposition des
spécialistes : i) la santé est déterminéepar l’interaction de multiples facteurs,ce qui implique ii) qu’il est indispensabled’intervenir selon une perspectivemultisectorielle en agissant surl’environnement, les comportementsindividuels et le changement social.Pour déterminer le type d’interventionnécessaire à mettre en œuvre, lesplanificateurs doivent procéder selonneuf étapes :
1) La première étape consiste en laréalisation d’une évaluation sociale,permettant de connaître la per-ception de la population quant à sesbesoins et sa qualité de vie.
2) La deuxième étape, dite de diagnosticépidémiologique, est plus techniqueet permet de quantifier et mesurerles problèmes de santé (mortalité,morbidité et leurs causes) relevéssubjectivement et préalablement parla population.
3) Dans une troisième étape, lesresponsables de la planification doi-vent réaliser un diagnostic comporte-mental et environnemental afin depréciser les facteurs associés à cesproblèmes de santé, étant entenduque ces derniers peuvent être denature biologique, comportementauxou environnementaux.
4) Puis, dans la quatrième étape, ilconvient d’entreprendre le diagnosticéducationnel et organisationnel pouridentifier les facteurs «prédispo-sants» (antérieurs au comporte-ment), «facilitants» (antérieurs aussi)et de renforcement (subséquents aucomportement) qui auront une
Suite à la page 4
Février 2003
❍4
Une analyse critique du guide pour l’évaluationde programme en promotion de la santé (suite)❂
influence sur les changementspossibles au plan des comportementset de l’environnement. Notons ici quechacune des catégories de facteurscomporte plusieurs éléments qu’ilserait trop long ici d’énumérer (parexemple les croyances, les attitudes,la disponibilité des ressources, leshabilités, la famille, les employeurs,etc.).
5) La cinquième étape nécessite laréalisation d’une évaluation admi-nistrative et politique permettant demettre en lumière les politiques,ressources et circonstances internesà l’organisation pouvant nuire oufaciliter la mise en œuvre d’unprogramme de promotion de la santé.C’est le moment de la planificationdes éléments concrets du programmeproposé.
Ces cinq étapes terminées, c’est la partiePRECEDE (évaluation ex-ante) dumodèle qui est achevée. L’analyse et laplanification sont menées à bien et il esttemps de passer à la seconde partie,PROCEED, c’est-à-dire :
6) la mise en œuvre et l’évaluation ex-post. Les auteurs distinguent troistypes d’évaluation :
7) du processus (stratégie et résultats àcourt terme, disent-ils),
8) des résultats (à court et moyen terme)et
9) des effets (à moyen et long terme).Cette dernière distinction (ou plutôtcette absence de distinction claire)peut, pour les profanes de l’évalua-tion, prêter un peu à confusion.
Ensuite, les auteurs du guide ont eu laremarquable intelligence de nousproposer, dans cette seconde édition,trois études de cas auxquelles le modèledes experts américains en promotion dela santé a été appliqué. L’intérêt de cestrois cas tient essentiellement en deuxpoints. D’une part, cela nous donnel’occasion de vérifier la pertinence dumodèle dans le domaine de la promotionde la santé et notamment pour troisproblématiques bien différentes : lasanté des enfants, la santé mentalechez les étudiants, l’allaitementmaternel. D’autre part, nous pouvonsconstater que l’emploi de cette méthoden’est pas limité au contexte del’Amérique du Nord, mais qu’elle peutconvenir ailleurs, par exemple aux casen question (en Haïti, au Québec et enGuyane française). Ainsi, les praticiensdu Québec en planification et évaluationpourront bénéficier de ces exemples pouraméliorer leurs propres pratiquesprofessionnelles.
La dernière et troisième partie de cetouvrage consiste en une présentationd’un modèle de planification etd’évaluation développé par MauricioGomez Zamudio. Il s’agit, selon sespropres mots, d’un guide de référencepour l’action. L’auteur souhaite, par laproposition de ce modèle, présenter unmodèle plus pratique, plus simple etpeut-être plus concret pour les acteursde terrain. Ainsi, l’auteur a eu recours àune technique pédagogique trèsdidactique, utilisant des cases et descouleurs différentes pour faciliter aupromoteur de la santé le suivi des quatreétapes du processus de réalisation d’unprogramme. Chacune des quatre étapes,la planification, l’implantation,l’évaluation et le maintien, dispose deplusieurs sous-étapes détaillées dansl’ouvrage dont il est ici question. À la fin
de chaque chapitre, l’auteur proposeune liste de vérification avec des casesà cocher pour que le planificateur/évaluateur puisse vérifier qu’il a biensuivi la procédure dans sa totalité. Aucœur de ce processus, et le sujet est à lamode en ce moment5 , il faut que lesplanificateurs aient conscience del’importance de l’utilisation de donnéesprobantes (preuve scientifique ou«evidence») dans leur programmation.Cette partie de l’ouvrage insiste, à justetitre, sur cette dimension. L’un deséléments nouveaux et rarement abordédans ce type de guide est également lefait que les planificateurs doivent êtreen mesure d’arrêter le programme misen œuvre si rien ne se passe. Si aucunchangement particulier n’est décelabledans les comportements, par exemple,du public visé par le programme, il fautque les planificateurs puissent prendreleurs responsabilités et soient en mesurede stopper les interventions.
2. Deux commentaires etune remarque
Nous nous permettrons maintenantdeux critiques particulières, notammentconcernant la pratique et la vision del’évaluation, et une remarque générale,même si elles n’enlèvent rien à la qualitéde l’ouvrage.
D’abord, nous voulons signaler que l’undes défis particuliers en évaluation deprogramme concerne la manière donton doit procéder, le processus évaluatif.Évaluer systématiquement les pro-grammes de promotion de la santé n’estpas suffisant, encore faut-il que la ma-nière, ou la démarche, soit appropriée.Faire en sorte que la communauté nesoit que simplement consultée etinformée de la réalisation d’uneévaluation, tel que semblent lepréconiser Renaud et Gomez, n’est passuffisant à notre sens. La nature par-ticulière des programmes de promotionde la santé impose une participation dela population qui soit bien plus activeque cela. Pour reprendre une dichotomie
5. C’était l’objet d’une des journées annuelles de santé publique (JASP) du Québec, tenuesen novembre 2002, et qui avait pour thème «L’efficacité des interventions en promotion dela santé : les enjeux de l’évaluation».
6. Cousins, J.B. et E. Whitemore, «Framing Participatory Evaluation», in E. Whitemore(editor), Understanding and Practicing Participatory Evaluation, Jossey-Bass Publish-ers, 1998, p. 5-23.
Février 2003
❍5
7. Patton, M.Q., Utilization-Focused Evaluation (3rd edition), Thousand Oaks/London/NewDelhi, Sage Publications, 1997, 431 p.
8. Lemieux, V., L’étude des politiques publiques, les acteurs et leur pouvoir (2e édition), Québec,Les Presses de l’Université Laval, 2002, 195 p.
9. Dever, G.E.A., An Epidemiological Model for Health Policy Analysis, vol. 2, Soc. Ind. Res.,1976, p. 465.
classique (practical vs transformative6 ),il faut non seulement que cette partici-pation soit organisée pour des finspratiques et renforce ainsi l’appro-priation possible des résultats, mais ilfaut aussi, eu égard au caractèred’ «empowerment» inhérent à la promo-tion de santé, que la participation soitconçue pour accroître la capacité despopulations à décider de leur destin etdu changement social.
Ensuite, si ce n’est pas complètementun défi, nous devons malgré toutsouligner que la tendance de certains àcantonner l’évaluation dans une activitébouclant le processus du cycle de projet(ou de politique publique) semblepersister. Même si certaines nuancessont apportées, le guide que nous avonslu pourrait laisser cette impression chezdes lecteurs néophytes. L’utilisationd’un cadre d’analyse linéaire, dans ceguide, renforce certainement cetteperception. Cependant, même en utili-sant des schémas plus circulaires,quelques spécialistes continuent depercevoir l’évaluation comme uneactivité finale, où les évaluateurs sont
considérés comme des «program termi-nation squad»7 . Il serait temps de voirl’évaluation comme un méta-processus8 ,comme une activité pouvant avoir lieu àtoutes les étapes du cycle du projet.Décrire l’évaluation ainsi éviterait lesdérapages interprétatifs précédemmentévoqués.
Enfin, notre remarque générale pourclore notre article sera volontairementprovocatrice : est-il réellement néces-saire d’évaluer de façon systématiqueles programmes de promotion de lasanté? En effet, dans certains cas ladisproportion de l’allocation de ressour-ces au secteur de la promotion de lasanté par rapport à celui du système desoins (10/90) nous permet de nousquestionner sur le caractère déontiqued’une évaluation de tels programmes.Cela est d’autant plus vrai que noussavons que le système de soins québécoisest encore loin de disposer d’uneinfrastructure évaluative institutionna-lisée hors de tout reproche. L’aventurede l’OMS en 2000, lors de son classementdes systèmes de santé des pays dumonde au regard de critères de perfor-
mance, nous laisse à penser qu’unimmense défi demeure à relever.N’oublions pas que la contributionpotentielle à la réduction de la mortalitégrâce au système de soins n’est que de11 %, comparativement aux styles devie (43 %), à l’environnement (19 %) età la biologie humaine (27 %)9 .
Beaucoup de chemin reste à parcourirpour que le secteur (le système de soins)accaparant la majeure partie (sinon latotalité) des ressources soit évalué selondes critères valides et fiables. Oui, il estindispensable de rendre des comptes,surtout lorsque l’on utilise des fondspublics, néanmoins il ne faudrait pasque le fardeau de la preuve repose surles seuls organismes communautaires,dont les budgets fondent commeneige au soleil et qui se retrouvent biensouvent face à de nouvelles responsa-bilités sanitaires (le fameux virageambulatoire) sans nécessairement avoirbénéficié d’une redistribution desmoyens financiers. Dans ce cas,l’évaluation des programmes doit, selonnous, nécessairement s’effectuer selonune démarche participative centrée surles besoins des utilisateurs et avec unevisée formative permettant, à termes, àces derniers de développer des com-pétences propres pour entreprendre desautoévaluations plus souples, moinscoûteuses et dont les résultats sontparfois mieux intégrés.
Améliorer la performance,pour faire la différence
5252, boul. de Maisonneuve Ouest, # 310Montréal (Québec) H4A 3S5Téléphone : (514) 485-3565
Courriel : [email protected]
Concevoir des solutions logicielles
360, rue Franquet, #60Sainte-Foy (Québec) G1P 4N3
Téléphone : (418) 527-0528Télécopieur : (418) 527-1751
Courriel : [email protected]/fr/company/index.html
Février 2003
❍
Quelques guides accessiblesgratuitement sur Internet
6
Cet article est une description succinctede quelques guides d’évaluationconcernant le domaine de la santé,majoritairement en langue française,et dans leur totalité accessiblegratuitement sur Internet.
Comprendre, planifier, intégreret agir. Modèle de planification.Application à l’organisation et à larecherche communautaires , par le
par Valéry Ridde1
1. Valéry Ridde, doctorant en santé communautaire (Université Laval) et consultant en évaluation
Tiré de «Comprendre, planifier, intégrer et agir» (accessible à l’adresse suivante : http://www.cocqsida.com/comprendre_planifier_integrer_agir.pdf) et adapté de Green et Kreuter, 1991.
Comité prévention de la Coalition desOrganismes Communautaires Québé-cois de lutte contre le sida (COCQ-sida).
Site Internet : http://www.cocqsida.com/comprendre_planifier_integrer_agir.pdf.
Le premier guide que nous voudrionsvous proposer est en lien très étroit aveccelui dont nous venons de présenter lesgrandes lignes. Il s’agit d’un guide
destiné aux organismes communautai-res québécois œuvrant dans la luttecontre le sida. Le comité prévention dela coalition de ces organismes a écrit,pour ses membres, une versionvulgarisée et simplifiée du modèle deGreen et Kreuter et de l’ouvrage deRenaud et Gomez Zamudio. Il y a detrès nombreux exemples et commen-taires passant en revue toutes les étapesdu modèle de planification. Ces
Février 2003
❍7
exemples conviennent à la problémati-que du SIDA et des MTS, mais le lecteurpourra sans aucune difficulté utilisercette approche didactique dans soncontexte d’intervention particulier.Précisons que les dernières pages de ceguide pourraient être très utilespuisqu’il s’agit d’une grille d’analysereprenant les différentes étapes dumodèle et permettant aux planificateursde noter les différents éléments issus deleur analyse.
Manuel d’évaluationparticipative de programme.Comment assurer la participation desexécutants de programme dans leprocessus d’évaluation, par Judi Aubel.
Site Internet : http://www. childs u r v i v a l . c o m / d o c u m e n t s /csts.cfm#aubelfre.
Ce guide est disponible en plusieursformats (Word, PDF, Zip), en plusieurslangues (anglais, espagnol et français)et en est à sa seconde édition française.Il s’agit de la description d’une approcheparticipative en évaluation de program-me communautaire à l’occasion d’unprojet de développement international.C’est un guide très utile, très simple àcomprendre et qui repose sur unedémarche pratique d’application de septphases successives (20 étapes au total)pour réaliser une évaluation enpartenariat avec les responsables deprojets et les communautés concernées.Cette démarche a été éprouvée pendantplus de dix ans dans de multiples paysdu Sud. Le processus proposé estrigoureux mais assez souple pour nouspermettre de l’adapter aux différentscontextes. De nombreux exemplesappuient les informations fournies dansce guide, tant en ce qui concerne leséléments pratiques que ceux liés auxméthodes de collecte de données ou àl’analyse de ces dernières. Il s’agit d’undes meilleurs guides à notre connais-sance.
Le guide évaluation : L’évaluation,un outil au service de l’action et Leguide impact : Mesure de l’impact etconstruction d’indicateurs d’impact, parle F3E.
Site Internet : http://www.f3e.asso.fr/methodo/guides.htm.
Voici deux guides particulièrementsalutaires pour l’évaluation deprogrammes dans le domaine dudéveloppement international. Lepremier permet de prendre connais-sance de ce qu’est l’évaluation, pourquoielle est utile, comment la faire oucomment la faire faire. Le second revientsur ces principes, mais ensuite fournitdes informations plus techniques et seconcentre sur l’identification desindicateurs de performance et la miseen œuvre des évaluations d’impacts.Les deux guides fournissent quelquescas pratiques bien avantageux pourcomprendre la démarche proposée.
Guide d’évaluation de projet :Une démarche participative, par SantéCanada.
Site Internet : http://www.hc-sc.gc.ca/hppb/ddsp/ressources/guide/.
Ce guide d’évaluation de Santé Canadaest assez bien connu des évaluateursquébécois, mais il nous paraît judicieux,dans cet article, de le nommer etd’identifier le lien Internet pour se leprocurer. C’est un guide de référencepour les organismes communautaires,notamment pour ceux ayant bénéficiéde financements de l’organisme fédéralet devant mettre en œuvre uneévaluation de leurs programmes. Ilrepose sur un processus composé decinq étapes conduisant à obtenir uneréponse à cinq questions : quoi,pourquoi, et puis, et maintenant, etaprès? Plusieurs exemples et denombreux outils sont décrits, sous laforme de tableaux et de fiches à remplir,dans ce document fort précieux.
Theory at a Glance. A Guide forHealth Promotion Practice , par leNational Institutes for Health/NationalCancer Institute.
Site Internet : http://oc.nci.nih.gov/s e r v i c e s / T h e o r y _ a t _ g l a n c e /HOME.html.
Ce guide sera particulièrementbienvenu pour l’évaluateur qui voudraitentrer un peu plus en profondeur dans
le champ théorique de la promotion dela santé, bien que les auteurs proposentaussi une approche pratique. Différentsmodèles de planification et diversesthéories existants dans le domaine sontprésentés.
Basic Guide to ProgramEvaluation, par Carter McNamara.
Site Internet : http://www.mapnp.org/library/evaluatn/fnl_eval.htm.
Voici un site Internet très complet etrelativement facile d’accès d’un pointde vue des connaissances nécessairesen évaluation. Les questions de basesont posées, les outils d’évaluation sontbien décrits et de nombreux liensInternet sont disponibles, notammentvers d’autres guides d’évaluationaccessibles sur Internet (voir la page :http://www.managementhelp.org/evaluatn/evaluatn.htm).
Logic Models
Site Internet : http://www.the2professors.com/Logic%20Models.htm.
Le modèle logique est bien souventemployé par les planificateurs etévaluateurs québécois. Naviguer sur cesite sera profitable à ceux et cellesdésirant se familiariser un peu plusavec cet outil ou en trouver uneprésentation pédagogique. Diversesprésentations sous la forme de fichiersPDF sont accessibles.
Divers
Sur ces pages Internet, le lecteur ou lalectrice pourra trouver une descriptionsommaire et des liens Internetconcernant plus d’une centaine deguides d’évaluation de tous types etsous toutes les formes possibles :
Site Internet :http://www.idrc.ca/cbnrm/documents/
CBNRM_Toolkit/manuals8.htm
http://nt1.ids.ac.uk/eldis/hot/pm3.htm
http://www.policy-evaluation.org/
http://www.acdi-cida.gc.ca/cida_ind.nsf/64ed77ed3f130279852567920070e756/229e11a9265e346285256c36005649b9?OpenDocument
Février 2003
❍8
Impressions d’une novice enévaluation de programme par Valérie Houle1
1. Valérie Houle, étudiante à la maîtrise en psychologie communautaire et stagiaire à laDirection de santé publique de la RRSSS de Québec
Ma participation au colloque du 25 octobredernier a été une double initiation pourmoi. D’abord, faisant mes premiers pashors des bancs d’école, j’assistais pour lapremière fois à un colloque à l’extérieurdu milieu académique. De plus, celui-ciportait sur l’évaluation de programme,un domaine que je découvre à peine et quia su jusqu’à maintenant rejoindre mesintérêts et mes ambitions de carrière.Beaucoup de nouveau, donc, pour moi, etj’avais tout à découvrir au cours de cettejournée où des gens provenant de plusieursmilieux se réunissaient afin de discuter etd’apprendre sur un même objet,l’évaluation.
Les pratiques évaluatives ont-elles changédepuis 10 ans? Tel était le sujet sur lequelles trois panélistes devaient débattre endébut de journée. D’abord, M. Paul-ÉmileArsenault du Conseil du trésor a présentéun historique des lois et des documentsd’influence en évaluation de programme.Il en est venu à la conclusion que lapratique de l’évaluation de programmeest peu valorisée dans le système degestion actuel. Il affirme que nos élusdémontrent une très faible réceptivitéface à ce processus de remise en questionet qu’ils optent plutôt pour des mécanis-mes de concertation, comme les sommets,où les ententes et consensus succèdent aupartage d’information sur des propositionsqui auront peu évolué en fin de processus.La culture administrative actuelle nefavorise pas, selon lui, les demandesstructurées permettant de questionnerles programmes mis en place.
M. Pierre Joubert du Fonds de recherchesur la société et la culture a poursuivi laprésentation en dressant le portrait del’évolution de l’évaluation de programme.Trois transformations majeures seprofilent selon lui dans la cultureévaluative actuelle. D’abord, la gestionpar résultats ayant remplacé la gestionpar objectifs, les évaluatrices et lesévaluateurs ont dû modifier et adapterleur façon d’aborder et de concevoir les
évaluations. Ensuite, M. Joubert affirmeque la logique évaluative est passée de laconformité à l’imputabilité où la cause,c’est-à-dire le programme, doit nécessaire-ment produire des effets de façon logique.Finalement, d’une fonction de suivi,l’évaluation est devenue un moyen derégulation des politiques. Elle s’insèremaintenant directement dans les projetset programmes alors qu’elle était plutôtune incitation, un moyen suggéré pouvantêtre profitable à l’action.
Finalement, M. Jean Turgeon, professeuragrégé à l’École nationale d’adminis-tration publique, fait un bref retour sur sapropre présentation au premier colloquede la SQÉP où il annonçait à l’époque quel’évaluation de la 4e génération était uneentreprise utopique. Il se fait plus nuancécette fois-ci en affirmant qu’elle estréalisable, mais qu’elle se bute à plusieursobstacles dans la pratique évaluativeactuelle. Il existe présentement, selon lui,une mésentente notoire quant au rôle del’évaluatrice et de l’évaluateur. Doit-onêtre utile aux décisions des gestionnaireset des décideurs et ainsi agir en tant queconseiller? Doit-on plutôt questionner defaçon systématique les effets et lerendement des programmes et politiques?Ces questions doivent certainement fairel’objet d’une réflexion approfondie de lapart des évaluatrices et des évaluateurseux-mêmes, mais également de la partdes décideurs et bailleurs de fonds.
Alors, quoi de neuf depuis 10 ans dans lemonde de l’évaluation? Les membres dupanel semblent s’entendre pour dire quedes changements dans le processus deréalisation de l’évaluation se sont opérésdans les dernières années. Malheureu-sement, la pratique de l’évaluation nesemble pas encore être tellement appréciéepar les dirigeants et peut même apparaîtredérangeante pour certains. Il reste encore,selon moi, plusieurs barrières à surmonterafin que l’évaluation soit pleinementreconnue pour ce qu’elle devrait être, c’est-à-dire un complément et une démarche
intégrée à l’action où chaque acteur joueun rôle à l’intérieur du processus et estconsidéré comme tel.
Le premier atelier auquel j’ai participéréunissait mesdames Aline Émond, de laRégie régionale de la santé et des servicessociaux de l’Estrie, et Suzanne Garon, duDépartement de service social del’Université de Sherbrooke. Cet atelier serangeait sous la bannière «Rôle et placede l’évaluation», thème auquel j’aiparticipé à la fois en avant-midi et enaprès-midi, me disant que c’étaitcertainement la meilleure place pour…apprivoiser la bête!
D’abord, madame Émond a effectué unedémonstration assez percutante qui asuscité plusieurs discussions chez lesnombreux participants. Elle a présentédeux programmes qui ont connu tous deuxun dénouement assez paradoxal.L’évaluation du premier, un programmed’estime de soi, est arrivée à la conclusionqu’il n’y avait pas d’effets significatifs.Cependant, la décision des gestionnairesa été d’en poursuivre l’implantation. Ledeuxième programme présenté parmadame Émond, le Système Intégré auxPersonnes Âgées (SIPA), a démontré unecertaine efficacité lors de l’évaluation. Il apourtant été interrompu, malgré lesrésultats. Nous sommes alors en droit denous interroger sur l’impact de l’éva-luation sur la prise de décision. Lesprincipales sources d’influence dans leprocessus décisionnel sont, selon laconférencière, les budgets alloués et lecontexte politique en place au moment del’implantation. Il importe de retenir queplusieurs éléments externes au pro-gramme et à l’évaluation ont une influencesur le succès ou l’échec d’une action. Neprenons que les inquiétudes face à unedémobilisation du personnel commeexemple : un programme peut se révéler,à la suite d’une évaluation, inefficace,mais parce qu’il a tout de même généréune mobilisation et des regroupementshors du commun, il devient délicat de seretirer et de risquer de décourager les
Suite à la page 10
Février 2003
❍9
Suite à la page 11
Impressions d’un vétéranen évaluation de programme par Patrick Moran1
1. Patrick Moran, consultant en évaluation de programme
INTRODUCTION
Quoi de plus de normal pour une Sociétéd’évaluation que de faire l’évaluationde l’impact de son action? Depuisplusieurs années déjà il est devenu trèscoutumier pour la SQÉP d’évaluer sesactivités de formation, ses colloques etl’ensemble de ses activités. Maisforcément ces différentes évaluationsne peuvent aller beaucoup loin que dedéterminer le niveau de satisfaction del’assistance à l’égard des prestationsprésentées lors de ces différentesoccasions.
Ces évaluations n’ont donc pas laprétention d’évaluer l’impact del’activité en question sur l’évolution del’efficacité de l’évaluation de pro-gramme, ou, en d’autres mots, sur lesaméliorations qu’apportent de tellesactivités sur les évaluations réaliséessubséquemment par les participants.En effet, on n’a pas besoin de réfléchirtrès longtemps à ce sujet pour se rendrecompte qu’il serait très étonnant qu’uneseule activité puisse avoir une influencetelle qu’il soit par la suite possible dedéceler son impact sur des évaluationssubséquentes réalisées par unepersonne qui y aurait assisté.
C’est pourquoi il a été intéressant devoir le sujet abordé de façon plus globalelors du 11e colloque de la SQÉP quiavait pour thème général la question«Quoi de neuf en évaluation de pro-gramme?». Plus spécifiquement, le 11e
colloque s’est donné pour objectif de«faire le point sur l’évolution despratiques évaluatives au cours de ladernière décennie» ainsi que de «mettreen évidence les différents facteurs quiont exercé une influence sur les aspectsthéoriques et pratiques de l’évaluation
et à identifier les enjeux et les tendancesqui se dessinent».
Bien sûr, la thématique choisie ne visaitpas de façon spécifique à jauger l’impactde l’évaluation de programme surl’amélioration de l’administrationpublique. Néanmoins plusieurs con-férences et discussions ont abordéplusieurs facettes de cette question fortpertinente. Il est donc intéressant derelever les contributions les plusintéressantes à cet égard.
DISCUSSIONS AU PANEL
Dans son introduction, M. RichardMarceau s’est demandé jusqu’à quelpoint le progrès s’est fait sentir dans lesdifférents aspects de l’évaluation quesont la méthodologie, la technologie, laplace qu’elle a prise dans l’adminis-tration ainsi que la formation desressources humaines qui y œuvrent. Aucours de la discussion en plénière qui asuivi, on a entendu trois perspectivescontrastées sur la question posée auxparticipants : «les pratiques évaluativesont-elles changé depuis 10 ans?»
Pour sa part, Paul-Émile Arsenault dela SCT, après avoir relevé les faitssaillants du développement del’évaluation de programme au gouver-nement du Québec depuis l’adoption dela Loi de l’administration financière en1970, a souligné les trois axes de mo-dernisation de la gestion incorporés dansla Loi de l’administration publiquerécemment adoptée et qui a remplacé laLoi de 1970. Il s’agit successivement dela mise en place de la nouvelle Loi; del’assouplissement du cadre de gestion;des nouvelles règles de jeu entre leConseil du trésor et les ministères etorganismes.
Après ce relevé des changementsapportés au cadre de gestion gouver-nementale au cours des dernièresannées, M. Arsenault s’est interrogésur les raisons pour lesquelles l’éva-luation n’est pas davantage valoriséedans la gestion gouvernementale. Sansprétendre pouvoir apporter une réponsedéfinitive à sa propre question, M.Arsenault s’est demandé si l’explicationne se trouverait pas dans la faibleréceptivité démontrée par les élus, dansle recours à des mécanismes deconcertation (sommets, observatoires,etc.) pour les grands choix de société, ouencore dans une culture administrativepeu encline aux démarches structuréespour remettre en question lesprogrammes.
Pour sa part, Pierre Joubert, vice-président exécutif du Fonds derecherche sur la société et la culture,estime que la réponse à la question deM. Arsenault tient, entre autres, au faitque l’évaluation de programme dérangesouvent, que les changements dansl’agenda politique font en sorte qu’uneévaluation peut subitement perdre sapriorité et, enfin, qu’on ne prévoit passuffisamment à l’avance la réalisationdes évaluations.
DISCUSSIONS EN PLÉNIÈRE
Au cours de la discussion en plénière,M. Richard Marceau a apporté sespropres réponses aux questions qu’ilavait posées au panel dans la matinéeen ce qui a trait aux progrès réalisés enévaluation de programme au cours desdix dernières années.
D’abord, en ce qui a trait à l’utilisationdes différents critères d’évaluation, M.Marceau estime qu’on n’a pas réalisébeaucoup de progrès à l’égard du critère
Février 2003
❍10
Impressions d’une novice enévaluation de programme (suite)❂
acteurs du milieu. Bref, est-ce que lesnuances et les interprétations fournies parles évaluations ne sont pas comme un buffetoù chacun ne retient que son explicationpréférée? Est-ce qu’un sondage fournissantune réponse simple du genre «ça marche» ou«ça ne marche pas» ne correspondrait pas àce que les gestionnaires veulent vraimententendre? Ne faut-il pas plutôt être simple,voire simpliste? Est-ce que la visibilitémédiatique d’un programme ne pourraitpas être une source d’influence sur la prisede décision? Voilà les questions posées parmadame Émond afin de faire réfléchir sonauditoire sur l’impact réel des évaluationsde programme.
Le processus d’évaluation est-il encore utileà la prise de décision? Madame Garon avaitchoisi un titre fort approprié pour la suite decet atelier. Elle a présenté une démons-tration davantage théorique où l’évaluationparticipative prenait tout son sens.Cependant, elle a tenu à mettre en gardecontre le mythe voulant que tous les acteursmis à contribution dans une telle évaluationsoient égaux. En effet, la représentativitédes institutions ayant un pouvoir décisionneldans un comité de pilotage a certainementune influence sur la poursuite ou non del’implantation d’un programme dans lemilieu. Malgré cela, elle reste convaincueque l’évaluation participative est la voie àsuivre. Au delà des difficultés d’organisationet de mobilisation, de la quantité d’énergieet de temps nécessaire au démarrage et àl’entretien du processus, ce type d’évaluationreste la seule façon d’impliquer vraiment lesdifférents acteurs dans un processus aucours duquel ils peuvent avoir véritablementde l’influence.
Pendant la période de discussion de cepremier atelier, un participant a formulé uncommentaire qui m’a particulièrementinterpellée : «Évaluer, c’est intervenir». Il apoursuivi en affirmant que l’évaluatrice oul’évaluateur a nécessairement des valeurs,des principes et des expériences quiinfluencent le processus d’évaluation. De cefait, la présence d’une évaluation ou d’unévaluateur va enclencher possiblement chezles différents acteurs une période de remiseen question sur leur action. Cependant, jedois avouer que toute cette réflexion, à lasuite des deux présentations des
conférencières, me laisse un goût amer faceà la carrière qui se présente devant moi. Lesintérêts et les visions différentes des acteursimpliqués dans un programme semblentparfois nuire au développement de celui-ci.Est-ce que le seul but de vouloir fournir demeilleurs services et de réellement orienterles actions en ce sens n’est pas louable etenvisageable? Si tous les acteurs dirigeaientleurs actions vers le même but de promotiondu bien-être de la population, le constat desréussites serait certainement plus imposantdans dix ans. Peu à peu, je prends conscienceque ce n’est pas aussi simple et que plusieurséléments, autre que la vertu, sont àconsidérer! Il s’agit possiblement d’une demes illusions qui devront s’écrouler avec ledébut de ma carrière…
L’atelier de l’après-midi, toujours sous lethème «Rôle et place de l’évaluation»,réunissait Ghislain Arbour, étudiant à l’Écolenationale d’administration publique, et Jean-René Bibeau, du Bureau de la sous-ministreau Territoire du ministère des Ressourcesnaturelles, autour du sujet suivant : le«report card» est-il un concurrent ou uncomplément à l’évaluation de programme?Afin de répondre à cette question, M. Arboura présenté une définition du bulletin deperformance (report card ), quelquesexemples déjà utilisés dans le milieu scolaireet en a explicité les principales fonctions. Ila défini le bulletin de performance commeétant un rapport systématique destiné aupublic sur la performance d’une organisationpublique. Le modèle idéal du bulletinpermettrait de réaliser une évaluation de laperformance tant par les résultats qu’enfonction du contexte. De plus, l’évaluationdevrait être comparable entre lesinstitutions, avec une méthode uniforme etune cote globale. Finalement, le bulletin deperformance devrait être accessible etcompréhensible par la population en général.La principale fonction de cette mesure deperformance est de faire preuve detransparence quant au rendement del’institution. En réponse à la question dedépart, M. Arbour conclut que le bulletin deperformance est à la fois un concurrent et uncomplément à l’évaluation de programme :d’une part un concurrent parce que le bulletinreprésente une mesure objective systé-matique pouvant paraître plus séduisanteque l’évaluation, mais aussi un complément,
d’autre part, parce que la prise en comptedu contexte de façon plus globale propre àl’évaluation permet de compléter etd’enrichir l’information fournie par lebulletin.
La dernière conférence de la journée était cequi manquait pour venir remettre enquestion ce que je croyais avoir comprisdepuis le début de la journée! M. Bibeau adémontré, dans une présentation trèscolorée, comment la gestion par résultatsque l’on croit accomplir actuellementbifurque de son objectif de base. Ce sont lesressources et les détails des activités quisont observés à la loupe par les évaluationsactuelles, alors que les résultats quicomptent réellement, ce sont les change-ments dans la population. M. Bibeau nepropose rien de moins qu’un changement deculture de gestion en gardant en tête «derendre compte de ce qui compte» et de seconcentrer sur les résultats externes : lesredditions de compte et l’efficience desinvestissements ne suffisent pas à juger dela pertinence d’une action pour un groupede personnes. Le changement proposé doitnécessairement s’opérer par l’adoption deméthodes qualitatives, afin de mesurer cequi est vécu dans une population donnéepour ensuite «revenir en amont vers lesrésultats internes pour expliquer, si requiset seulement si requis, la contribution desactions internes 2 ». Cette conférence m’aquelque peu déstabilisée en pleinapprentissage, mais m’a également rappeléqu’il ne faut jamais cesser de questionnerles pratiques et les idées établies. C’estgrâce à cette remise en cause que l’évaluationdemeure un processus dynamique et permetà l’évaluatrice et à l’évaluateur de resterbranchés sur la réalité.
Somme toute, ce fut une journée trèsenrichissante pour une novice comme moiqui a encore beaucoup à apprendre sur ladynamique de l’évaluation et ses multiplessources d’influence. Le fait de passer unejournée complète à en parler avec desspécialistes et à réfléchir sur le sujet apermis à quelques morceaux du grand casse-tête de l’évaluation de programme des’ordonner dans mon esprit : ils commencentà former pour moi un tout plus cohérent.D’ici le 12e colloque annuel, je souhaiteavoir effectué un premier bout de chemin etpouvoir alors vous présenter la vision d’unejeune professionnelle dans le domaine del’évaluation de programme!
2. Ce bref résumé ne rendant certainement pas justice au détail de l’analyse présentée par M.Bibeau, vous pouvez vous procurer le document complet sur le site Internet de la SQÉP(www.sqep.ca).
Février 2003
❍11
Impressions d’un vétéran enévaluation de programme (suite)❂
de la pertinence. Cependant, lesnouveaux procédés de gestion introduitsdans la foulée de la nouvelle Loi del’administration publique mettentdavantage l’accent sur la pertinencedes programmes, bien que l’évaluationde ce critère demeure très délicate etexige beaucoup de patience et depersévérance. En ce qui a trait à laméthodologie et la technologie, M.Marceau estime que les avancées sontlà. Les outils sont plus puissants et leurutilisation se généralise. Enfin, en cequi concerne le critère d’utilité, leprogrès est moins facile à démontrer.En résumé, il reste du travail à accomplirqui exige beaucoup de ténacité, depersévérance et de continuité.
M. Denys Baïlle, président de la Sociétéfrançaise d’évaluation, a ensuite traitéde la question dans une perspectivefrançaise.
En passant en revue l’évolution desdernières années, il constate quel’environnement en Europe est engénéral porteur du concept del’évaluation et se révèle favorable à soninstitutionnalisation. Par ailleurs, ilremarque une clarification des objectifset des finalités de l’évaluation et une
multiplication des approchesméthodologiques. Par contre, il relèveune utilité inégale des résultats del’évaluation ainsi qu’une fragilitépersistante du fait qu’il s’agit d’unefonction peu connue que les élus ont dumal à intégrer dans leur conception del’administration publique.
En ce qui a trait à l’avenir, M. Baïlleestime que l’évaluation a beaucoup depotentiel comme facteur d’intégrationau service des projets et desprogrammes, et comme vecteur dupartenariat et de la responsabilité desacteurs.
Enfin, Mme Hélène Johnson a fait partà l’auditoire de sa perception du rôlejoué par la Société québécoised’évaluation de programme dans l’essorde la fonction d’évaluation au Québecau cours des dix dernières années ainsique des défis que la Société doit releverau cours des années à venir. Après avoirrésumé l’histoire de la SQÉP, l’évolutionde son membership ainsi que le profil deses membres, Mme Johnson a résuméles objectifs de la Société, soit :• les échanges entre les membres;• la promotion de la recherche et du
développement en matièred’évaluation de programme;
• la mise sur pied d’un centre deréférence, d’action, d’informationet de formation;
• la prise de position sur desquestions touchant à l’évaluationde programme.
Ensuite, Mme Johnson a énuméré lesobjectifs de développement qu’elle atracés pour la SQÉP pour lesprochaines années, soit :• mieux répondre aux attentes et
aux besoins des membres;• élargir le champ d’action de la
SQÉP;• s’ouvrir à l’international par
l’échange d’expertise;• augmenter la visibilité de la SQÉP;• soutenir la relève en évaluation;• améliorer le site Web et se doter
d’outils de gestion efficaces.
Enfin, Mme Johnson a énuméré lesconditions de réalisation de ce plan dedéveloppement, soit l’implication desbénévoles au CA et en appui au CA,ainsi que le support de l’ensemble desmembres.
Pavillon Maurice-Pollack, Université Laval, Québec (Québec) G1K 7P4Téléphone/Télécopieur : (418) 656-2600/656-2665
www.zone.ul.ca
360, boul. Charest Est, Québec (Québec) G1K 3H4Téléphone/Télécopieur : (418) 521-4488/521-6868
Courriel : [email protected]/Francais/acc_fr.html
Février 2003
❍12
est directeur del’évaluation des programmes auministère du Revenu du Québec.Bachelier en administration des affaires(comptable), Yves œuvre depuis plus de20 ans au ministère du Revenu commeprofessionnel et cadre, dont bon nombredans des fonctions de conseiller et dechargé de projet tant au niveau terrainde la fiscalité québécoise que dans ledéveloppement des activités et desprogrammes. Il a été notamment chargéde cours en impôt des particuliers et desentreprises, adjoint sous-ministériel enfiscalité impôt, responsable de larecherche appliquée et des indicateursde rendement en milieu opérationnel,responsable des normes opérationnellesen fiscalité et il s’est investi dans lesquestions entourant la protection desrenseignements. Il a été associé àl’implantation et à la mise à jour deprogrammes ou de politiques, tels quele régime québécois de perception despensions alimentaires, la politiquefamiliale, le régime d’assurancemédicaments, l’aide fiscale auxpersonnes ayant une déficience mentaleet physique. Il est aussi actif auprès duGroupe des responsables de l’analyse etde l’évaluation de programme dugouvernement du Québec (administra-teur-trésorier).
est candidat audoctorat et chargé de cours à l’Écolenationale d’administration publique(ÉNAP) et chercheur associé à l’Institutéconomique de Montréal (IÉDM). Il aobtenu son diplôme de premier cycle enscience politique et en économie àl’Université Bishop’s et sa maîtrise enmesure et évaluation de l’interventionpublique à l’ÉNAP. Ses recherchesportent principalement sur les théoriesdes choix publics, l’économie del’éducation et les méthodes statistiquesen évaluation de programme.
C’est auprès de ministères, d’agencesd’exécution et d’organismes commu-nautaires qu’ acumulé et partagé son expérience à titrede conseillère depuis 1991. Détentriced’une maîtrise en administrationpublique spécialisée en évaluation de
Présentation duConseil d’administration 2003
programme, elle a développé sonexpertise dans le cadre de plusieursmandats liés à l’évaluation de program-mes locaux, nationaux et internatio-naux. Son passage au sein du ministèrede la Défense nationale et à la Directionde l’évaluation du rendement del’Agence canadienne de développementinternational s’est démarqué par sestravaux de conception, d’évaluation etde révision de programmes et de projets.
Mme Brunet agit aussi à titre deformatrice et son grand intérêt pour leprocessus cyclique de gestion desprogrammes l’amène également àaccompagner les gestionnaires dans ladémarche de planification et d’éva-luation des initiatives qu’ils supportent.Outre les mandats qu’elle réalise surune base indépendante, elle a participéà certaines évaluations confiées auGroupe DBSF entre 1996 et 2002. Plusrécemment, elle s’associe aux travauxd’évaluation de Darvida Conseil, deRBMG à Ottawa et contribue ponctuel-lement à ceux de SOGEMAP inc.
(A.B., M.A.) est adjointau sous-ministre adjoint aux Services àla communauté anglophone duministère de l’Éducation du Québec.Membre du Conseil d’administrationde la SQÉP, il a coprésidé le Comitéorganisateur du Congrès 2000 de laSociété canadienne d’évaluation (SCÉ).Il est le délégué de la SQÉP auprès de laSociété canadienne d’évaluation.Monsieur Cullen représente la SCÉauprès du Joint Committee on Stan-dards for Educational Evaluation.
Détenteur d’une maîtrise en économie, a travaillé de
nombreuses années aux ministères desRessources naturelles, de l’Environne-ment et des Affaires municipales entant qu’évaluateur, économiste etplanificateur. Il travaille maintenant àson propre compte. Il s’intéresse àl’évaluation des programmes et desorganisations, à la gestion par résultats,aux indicateurs de performance ettableaux de bord, aux sondages et àl’évaluation économique. Il est membre,depuis 13 ans, du conseil d’adminis-
tration de la SQÉP au sein duquel iloccupe notamment les fonctions detrésorier et de responsable du site Web.Son expérience le conduit à supporterles opérations de la SQÉP à tous lesniveaux. Il reconnaît la SQÉP commel’agent promoteur de l’évaluation auQuébec qui défend les intérêts del’évaluation auprès des décideur-e-s etdes employeur-e-s, qui développe laformation de ses membres, leurréseautage et qui se distingue au planinternational par son caractère inno-vateur et francophone.
poursuit sonmandat à la présidence de la SQÉPpour une deuxième année. Membre duCA depuis huit ans, Hélène s’estparticulièrement intéressée au dossierde la formation continue, à celui del’organisation du colloque annuel et,plus récemment, au développement duchamp d’action de la Société à l’échelleinternationale. Après avoir exercécomme nutritionniste en santécommunautaire et en recherche, elle aobtenu un Ph.D. en mesure et évaluationde l’Université Laval en 1992 et,pendant quelques années, elle y aassumé des fonctions de chargée decours au niveau de la maîtrise et dudoctorat en mesure et évaluation.Actuellement en poste à temps partiel àl’Université Laval, elle offre du conseilet des services aux différents groupesde travail chargés de l’évaluationpériodique des programmes deformation et de l’élaboration denouveaux programmes. Elle assumeégalement la présidence du GroupeJohnson & Roy inc., une firme privéeregroupant des consultants et desconsultantes spécialisés en mesure etévaluation, œuvrant principalementauprès d’organismes publics etparapublics, au Canada et à l’étranger.
Détenteur d’un doctorat en sciencepolitique de l’Université Laval,
était chercheurau Centre de recherche et d’informationsur le Canada depuis trois ans avant dejoindre les rangs de la fonction publiquequébécoise. Dans le cadre des fonctionsde conseiller en évaluation de pro-
Février 2003
❍
gramme qu’il occupe actuellement auministère des Ressources naturelles, ila pour principal mandat de conduire etde réaliser des évaluations sur lesprogrammes du ministère. Ayant faitde la philosophie politique sa spécialité,Jean-François Lehoux a égalementenseigné la méthodologie de la recherchependant ses études universitaires.Impliqué depuis longtemps dans ladéfense des droits et des libertés, il a étéformateur pour la Commission desdroits de la personne et siège, depuisplus de cinq ans, sur le conseild’administration de la ligue des droitset libertés.
est professeurà l’École nationale d’administrationpublique depuis 1984. Il est égalementmembre du Conseil scientifique etchercheur associé à l’Institut Économi-que de Montréal. Il détient un doctoraten science politique de l’UniversitéLaval, une maîtrise en sciences de l’eaude l’INRS et un baccalauréat enphysique de l’Université Laval.Monsieur Marceau est un analyste depolitiques publiques et un évaluateurde programmes qui a, en particulier,publié dans les secteurs de l’envi-ronnement et de l’éducation. Il a, deplus, réalisé des évaluations deprogrammes dans de nombreux autressecteurs d’intervention publique pourdes ministères fédéraux et provinciauxainsi que pour le Vérificateur généraldu Québec.
Après des études en génie, d’abord dansson pays natal, l’Irlande, ensuite enGrande-Bretagne, en Allemagne et
finalement à l’Université Queen’s enOntario, atravaillé au gouvernement de l’Ontarioavant de s’établir au Québec en 1965.Sa carrière au gouvernement du Québecl’a amené du ministère des Finances, enpassant par le ministère des Transports,jusqu’au Secrétariat du Conseil dutrésor. Patrick s’intéresse à l’évaluationde programme depuis fort longtemps.Cet intérêt s’est exprimé de multiplesfaçons : il a participé à l’implantationdu système PPB au gouvernement duQuébec, système dans lequel l’évalua-tion de programme occupe une placestratégique ; il a été responsable del’évaluation des politiques administra-tives du Conseil du trésor ; il a développéla première politique gouvernementaleen matière d’évaluation de pro-gramme ; il a organisé le premiercolloque sur l’évaluation au Québec en1987 ; il a rédigé de nombreux articleset prononcé des allocutions qui avaientpour sujet l’évaluation de programme.Depuis 1996, il est consultant en pla-nification stratégique et en évaluationde programme. Il est associé, depuis2000, à la firme Johnson & Roy où il aparticipé à la réalisation de nombreuxmandats d’évaluation. Membre du CAde la SQÉP depuis 1996, il en a été leprésident en 1999 et en 2000.
fait présente-ment une maîtrise en développementorganisationnel à l’École nationaled’administration publique de Montréal.Titulaire d’un baccalauréat en sciencepolitique, cheminement administrationpublique, de l’Université du Québec àMontréal, elle travaille actuellement
13
comme étudiante au sein de l’Agencedes douanes et du revenu du Canada.
, consultant etanalyste de politiques, a acquis uneexpérience de travail internationaledans plusieurs régions du monde tellesque l’Amérique centrale, l’Asie centrale,l’Asie du sud-est, l’Afrique de l’Ouest, laRussie et le Caucase. Au cours desdernières années, Simon a réaliséplusieurs mandats en évaluation et suivide programmes pour des institutionsmultilatérales (ONU, OMC, etc.), desBanques de développement (BM, BDI)et des ONG internationales.
Avant de se joindre à Universalia, Simona travaillé pour l’unité d’évaluation del’Institut de la Banque mondiale àWashington, D.C., où il a mené desrecherches et des missions de terrainau Kazakhstan et en RépubliqueKirghiz. Il a également travaillé commeconsultant et analyste de politiques ausiège de l’Organisation des ÉtatsAméricains (OEA), à Washington, D.C.,où il a participé à l’organisation d’uneréunion ministérielle entre les étatsmembres de l’OEA, en coordonnantnotamment des sessions de stratégie etde planification de politiques. Simon aaussi travaillé au Mexique et en Indesur des projets reliés à la bonnegouvernance, à la résolution de conflitset au suivi d’élections. Il travaille àprésent avec les clients d’Universaliaen développement international. Il parlecouramment français, anglais etespagnol. Il vient d’être élu membre duconseil d’administration de la SQÉP.
Centre de massothérapie
71, rue Crémazie OuestQuébec (Québec) G1R 1X4
Téléphone : (418) 522-0106 ou 1-888-603-0106Courriel : [email protected]
www.attitudemassotherapie.com/centre.html
595, rue Saint-Joseph EstQuébec (Québec) G1K 7L8Téléphone : (418) 525-4841
Février 2003
❍14
À L’ÉCOUTE DEVOS BESOINSL’E N A P...
Services aux individus et aux organisations. Évaluation des compétences et développement de carrière. Perfectionnement et formation sur mesure dont l’activité en
évaluation des programmes publics. Conseil en gestion. Animation du milieu
Formation créditée (programmes de 2e et 3e cycles en administration publique) dont la maîtriseen administration publique, option B, concentration en mesure et évaluation de l’interventionpublique et le programme court sur le même thème.
ENAP-Québec555, boulevard Charest EstQuébecTéléphone : (418) 641-3000
ENAP-Montréal4750, avenue Henri-Julien, 5e étageMontréalTéléphone : (514) 849-3989
Pour nous rejoindre sans frais :1 800 808-3627 (ENAP)
www.enap.uquebec.ca
Février 2003
❍15
U
Liens généraux
Liens pertinents à l’évaluation(organismes gouvernementaux, orga-nismes indépendants et organismesinternationaux) :h t t p : / / w w w . t b s - s c t . g c . c a / e v a l /links_liens/link-lien_f.asp
Gouvernement fédéral
Site Internet de la fonction d’évaluationdu Secrétariat du Conseil du Trésor :h t t p : / / w w w . t b s - s c t . g c . c a / e v a l /home_accueil_f.asp
La nouvelle Politique d’évaluation :http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TBM_161/ep-pe_f.html
Gestion axée sur les résultats :http://www.tbs-sct.gc.ca/rma/rbm-gar_f.asp
Le rendement du Canada 2001, rapportannuel sur la mesure du rendement :http://www.tbs-sct.gc.ca/report/govrev/01/cp-rc_f.asp
Rapports ministériels sur le rendement :http://www.tbs-sct.gc.ca/rma/dpr/dpr-rmr_f.asp
Sommaire du rapport «Le profildémographique des collectivités de lavérification interne et de l’évaluationdans la fonction publique du Canada»,janvier 2002 :h t t p : / / w w w . t b s - s c t . g c . c a / e v a l /stud_etud/stud_etud_f.asp
Étude de la fonction évaluation augouvernement fédéral :h t t p : / / w w w . t b s - s c t . g c . c a / e v a l /stud_etud/tbeval_cteval_f.asp
Guides, rapports et base dedonnées
Guide d’élaboration des cadres de gestionet de responsabilisation axés sur lesrésultats :h t t p : / / w w w . t b s - s c t . g c . c a / e v a l /tools_outils/rmaf_crgar_f.asp
Méthode d’évaluation des program-mes. Mesure et attribution des résultatsdes programmes :http://www.tbs-sct.gc.ca/eval/pubs/méthode/mep.htm
Base de données sur les vérifications etles évaluations :http://www.tbs-sct.gc.ca/rma/database/databasf.asp
Base de données sur les enjeuxhorizontaux :http://www.tbs-sct.gc.ca/rma/eppi-ibdrp/hr-rh_f.asp
Indicateurs sociaux :http://www.tbs-sct.gc.ca/rma/eppi-ibdrp/SI/si_f.htm
Série Les outils de l’évaluation ,Développement des ressourceshumaines Canada :http://www11.hrdc-drhc.gc.ca/pls/edd/toolkit.list_fr?p_site=EDD
Auto-évaluation par les Premièresnations de leurs programmescommunautaires. Guide d’évaluation durendement, Affaires indiennes et duNord Canada, 1999 :http://www.ainc-inac.gc.ca/pr/pub/ae/sp/97-13_f.html
Commission de l’évaluation del’enseignement collégial :http://www.ceec.gouv.qc.ca
Liste des ressources sur l’évaluation par Constance Herrera
BulletinBénévoles recherchés pour effectuer la révision linguistique des prochainsnuméros du bulletin.Si vous êtes intéressé-e-s, vous pouvez contacter monsieur Sylvain Bernier([email protected]) qui sera le nouveau responsable du Bulletin pourl'année 2003.
SecrétariatÀ l'exception des quelques semaines précédant la tenue d'un colloque ou d'uneactivité de formation, les heures normales de bureau pour joindre le secrétariatde la SQÉP seront désormais : le lundi et le mardi de 8 h 30 à 12 h 00 et de 13h 00 à 16 h 30. Cependant, vous pouvez transmettre en tout temps vosdemandes, soit par courriel ([email protected]), soit par télécopieur (418 847-9850). Ces dernières seront traitées dans les meilleurs délais. Merci de votrecollaboration!
Coup d’oeilNous remercions l’École nationale d’administration publique de nous fournirl’opportunité de vous faire connaître leur Journal «Coup d’oeil» qui est unpériodique bimensuel dédié à l’analyse comparative. Bonne lecture à tous.
U
U
Février 2003
❍16
Cadrer pour livrer l’information.La tâche de l’administration publique par Yves Bannon1
De nombreux documents et exposés ont circulé depuis laprésentation de la nouvelle Loi sur l’administration publique(LAP), le nouveau cadre de l’administration publique duQuébec. Chacun des ministères et organismes (M/O) dugouvernement du Québec est maintenant tenu de livrer descomptes qui vont au delà des statistiques et des donnéesbudgétaires en adoptant une gestion axée sur le service auxcitoyens et les «résultats».
Qu’on se réfère au guide d’évaluation de programme publié en2002 par le Conseil du trésor et destiné aux dirigeants etdirigeantes de ministères et d’organismes2 (voir encadré ci-contre), ou encore aux propos des élus3 , le discours esthomogène : l’information livrée doit porter tant sur les résultatsen terme d’extrants et que sur les effets des activités conduites.Notons, en outre, des légis-lations parfois plus anciennesque la LAP qui prévoient aussila démonstration de leurs effetsspécifiques devant l’Assembléenationale. Ainsi donc, l’informa-tion attendue sur les «résultats»vise une information dont leréférentiel diffère du rapportannuel classique publié jusque-là par les M/O sur les activités.
Officiellement, le rapport degestion des M/O devra présenterles résultats obtenus par rapport aux objectifs définis au planstratégique et au plan annuel de gestion des dépenses4 . Nousparlons donc de «résultats» ou «d’effets spécifiques». Notonsau passage que seul le plan annuel de gestion des dépensesdocumente officiellement l’évaluation de programme, selonune norme du Conseil du trésor.
Maintenant que nous connaissons plus exactement le«pourquoi», le «où» et le «quand», voyons comment notreanalyse des résultats pourrait s’organiser. Que pourrait êtrela structure d’analyse préalable, tel un nouveau référentiel,qui permettrait de cadrer lesdits «résultats»?
Structurer la réflexionIl est de l’économie générale du nouveau cadre de gestion queles moyens de contrôle, incluant l’évaluation, soient déléguésaux dirigeants des M/O, quelle que soit la place qu’ils occupentdans l’organisation des services publics. Comme tous cesintervenants ne sont pas en contrôle total des programmes oudes processus publics, il devient essentiel d’organiser la mesuredes résultats et des effets obtenus sur la base d’un modèle quidistingue les apports spécifiques du global.
Pour répondre à cette nécessitéde livrer une informationspécifique (celle associable à unM/O en particulier), nousposerons qu’il est possible demodéliser la structure d’ensem-ble associée à une politique (P)pour en dissocier les compo-santes administratives.
Le schéma de la page suivanteprésente cette structure, unmodèle simplifié, présumant une
intégration verticale des inter-ventions des M/O pour allégerla démonstration. Notez, à gauche, l’axe défini par les lignescontinues qui présentent les différentes interventionspubliques et, à droite, les lignes d’évaluation ou de mesures enpoints gradués de même que les lignes discontinuesd’information qui situent les tâches de reddition de comptes.Chacun des cercles discontinus différencie la contributionspécifique d’un M/O dont les éléments à identifier sont :➢ la stratégie d’intervention spécifique (s
n)
➢ les résultats spécifiques (rn = extrants)
➢ les effets spécifiques (en).
Il faut considérer cet exercice comme le calcul de la «forcespécifique du M/O» nommée s
nr
n avec comme résultante son
effet spécifique en (l’effet des activités réalisées au regard
1. Yves Bannon, directeur de l’évaluation des programmes, ministèredu Revenu du Québec
2. L’évaluation de programme. Document destiné aux dirigeants etdirigeantes de ministères et d’organismes, Conseil du trésor duQuébec, 2002, p.6.
3. Cf. la conférence de Geoffrey Kelly, président de la Commission del’administration publique, prononcée le 26 avril 2002 au Colloqueconjoint «Veille, évaluation et planification stratégique».
4. Loi sur l’administration publique, article 24, et Guide sur lerapport annuel de gestion du Conseil du trésor, mars 2002.
Au gouvernement du Québec, la reddition de comptes et l’évaluation s’organisent autour des décideurs de différentsniveaux avec comme cadre général la Loi sur l’administration publique. La population s’attend, de la part de ses élus, àdes informations découlant d’une structure d’analyse conséquente et organisée en fonction des ministères et organismes(M/O) contributifs. Tous sont tenus responsables des résultats et des effets engendrés par leurs décisions selon leurmission respective. La livraison des informations oblige par conséquent les M/O à différencier les résultats et les effets.Cet exercice requiert une réflexion préalable et un modèle d’analyse.
Guide d’évaluation du Conseil du trésor du Québec
« … il incombe aux ministères et aux organismes des’assurer que leurs programmes ou leurs politiques sontévalués. Les programmes et les politiques doivent êtreévalués en vue de déterminer leur pertinence actuelle, lamesure dans laquelle les activités et les résultats sontconformes à la mission, la mesure dans laquelle les objectifsont été atteints, les effets positifs et négatifs et, s’il y alieu, les moyens d’atteindre les objectifs d’une manièreplus efficace soit par des améliorations opérationnelles auprogramme existant, soit par l’introduction d’un nouveauprogramme.»
Février 2003
❍
d’une politique P de l’État), qu’il y soit favorable ou non. Uneorganisation logique des variables permettrait de s’interrogersur les éléments pertinents à considérer et leurs liens. Mettons-y donc un peu de science et voyons comment un mathématicienexposerait la situation.
Soit l’effet global (Ep) sur la cible (C
p) attendue de la politique
gouvernementale (P) et les effets spécifiques relatifs auxstratégies des activités M/O (e
n). Considérant l’effet des
interventions spécifiques des M/O requis à la réalisation de lapolitique et de certaines de leurs combinaisons, on peut relierles données comme suit :
Effet global visé ou obtenu avec l’intervention spécifiquedes M/O :
Soit Ep = C
p = (C
p;t1- C
p;t0 ), l’effet global de la politique
on a l’effet de la politiqueƒ
(p) = ƒ(P;(e
1:e
n )) = ƒ(P;(s
1r
1:s
nr
n ))
Effets spécifiques :
Soit ƒ(P;(en )) = ƒ(P;(s
nr
n )) avec [e
1,e
n ] ∈ I
p <> Σ (e
1:e
n )
on a ƒ(P;(s1r
1:s
nr
n )) ƒ(P + Σ(s
1r
1:s
nr
n ))
Si en > 0, l ’ef f icacité absolue du M/O existe mais sa
contribution à l’objectif de la politique demeure indéterminée.Il faut démontrer que l’effet e
n est nécessaire à l’effet global
Ep, soit que :
ƒ(P;(s1r
1:s
nr
n )) > ƒ(P;(s
1r
1:s
n-1r
n-1 )) = ƒ
(p) sans le M/O.
Bien que la mesure de l’effet global soit attribuable au M/Ostratège (celui qui a développé la politique), les effetsspécifiques attribuables aux différents M/O qui agissent àtitre d’intervenants administratifs devraient, selon la nouvellevision administrative, être attribués en partie à leur gestion.Cette mathématique met en évidence la limite du rationneldes effets spécifiques puisque ceux-ci ne sont pas cumulatifs,exception faite des M/O qui partagent les mêmes fonctions.
On peut certes théoriquement tout calculer, mais gare àl’application. À vrai dire, il vaut mieux éviter ici les chiffres ettenter de déterminer les informations pertinentes à considérerpour définir les variables r et s, soit les données quipermettraient d’établir l’univers de s
nr
n.
L’apport de chacun et la ligne d’interprétationRésumons : le M/O doit livrer un rapport sur la base durésultat s
nr
n qui englobe l’effet e
n. Nous terminons ainsi avec
l’analyse du résultat snr
n qui devra être décomposé pour
permettre :
• la mesure des résultats et des effets spécifiques du M/O(«business as usual»)
• la mesure des résultats et des effets spécifiques aux choixdu M/O.
Tout ceci est évidemment théorique. Cependant, tel que déjàmentionné, le guide d’évaluation de programme du Conseil dutrésor fait référence à une telle logique2 . Le Conseil du trésorsuggère que l’évaluation devrait isoler des facteurs (au moinsdocumenter la situation) en demeurant muet sur le détail destravaux à réaliser. Il s’agit en fait d’un référentiel du Conseildu trésor et non pas d’une directive, ce qui laisse une latituded’interprétation.
La reddition de comptes attendue impose de justifier lesconclusions qui seront tirées des observations faites parchacune des administrations quelle que soit sa missionparticulière. Sans se donner une représentation large desfaits, le rapport de gestion d’un M/O opérant dans unenvironnement administratif ouvert pourra perdre enpertinence. En effet, la performance d’une organisation nepeut être établie sans la perspective de données qui situentson apport spécifique. Ainsi, en l’absence de normes connues,chaque organisation a le défi de justifier son analyse desrésultats et doit s’interroger sur sa structure de référence.
Bien que différent de l’approche classique de l’évaluation deprogramme, le modèle présenté utilise le même référentiel etapporte une réflexion qui peut permettre d‘expliquer et mêmede démontrer la valeur des «résultats». Sans suppléer à desnormes d’évaluation, la structure d’analyse, présentée à titred’exemple seulement, permet de considérer la livraisond’informations spécifiques, voire différenciées, pour chaqueM/O en soulevant des questions pertinentes.
17
Février 2003
❍
Publication du tout dernier rapport synthèse de laCommission d’évaluation de l’enseignement collégial par Constance Herrera
1. Commission d’évaluation de l’enseignement collégial, Rapport synthèse. L’application dela politique institutionnelle d’évaluation des programmes, Québec, 2002, 35 p.
2. Règlement sur le régime des études collégiales, art. 24 (L.R.C., c. C-29, a. 18 ; 1993, c. 25, a.11).
3. Rapport synthèse, p. 19.
Le jeudi 5 décembre 2002 à Montréal, laCommission d’évaluation de l’ensei-gnement collégial (CÉEC) a dévoilé sonrapport synthèse d’évaluation del’application des politiques institution-nelles d’évaluation des programmesd’études collégiales. À titre de repré-sentante des professionnels del’évaluation de programme, la SQÉPavait été invitée à assister à cetévénement par le président de la Com-mission, monsieur Jacques L’Écuyer.
Rappelons qu’au cours des années 1990,les établissements d’enseignementcollégial se sont vus attribuer de plusgrandes responsabilités liées à laconception et à la gestion de leursprogrammes d’études1 . Par conséquent,des systèmes internes et externesd’évaluation devenaient nécessairespour garantir la bonne gestion et laqualité des programmes. D’un côté lescollèges étaient tenus d’adopter et demettre en pratique leur propre politiqueinstitutionnelle d’évaluation desprogrammes (PIÉP)2 , de l’autre laCommission d’évaluation de l’ensei-gnement collégial était instituée commeorganisme d’orientation et de surveil-lance externe. Elle a mené desévaluations de la mise en œuvre deplusieurs programmes d’études depuis1993. Sans imposer de modèle absolu,la Commission a aussi fourni les guideset le cadre de référence qui ont permisaux collèges d’élaborer leur PIÉP.
Puis, en 1998, la CÉEC a demandé auxcollèges de s’appuyer sur leur PIÉPpour procéder à l’autoévaluation d’unprogramme de leur choix conduisant audiplôme d’études collégiales. Les
résultats de l’exercice, complété par lamajorité des établissements, allaientpermettre à la Commission de juger sile processus d’évaluation interne dechaque établissement était à la foisconforme à sa PIÉP et efficace. Chaqueétablissement était libre d’utiliser sespropres méthodes tout en suivant lescritères énoncés par la CÉEC. Au termede l’exercice d’évaluation interne, laCommission visitait chaque collègeparticipant, recherchant des preuvesde l’élaboration et de la mise en pratiquede mécanismes efficaces d’évaluationdes programmes. Parmi les résultatsgénéralement positifs de cet «exerciceutile et concluant», la Commission adécelé les aspects à améliorer et a émisdes recommandations à l’égard descollèges.
Pour un bon nombre d’établissements,les deux plus importantes lacunes sontl’absence de système efficace d’infor-mation sur les programmes d’études,ainsi que l’insuffisance d’analyses desdonnées perceptuelles et de réflexioncritique sur les problèmes et leurssolutions possibles. D’après la Com-mission, «l’une des causes de cette[seconde] faiblesse réside dans le faitque, dans plusieurs cas, l’expertisenécessaire n’était pas disponible aumoment voulu ou que le leadership n’apas été exercé comme cela aurait étésouhaitable3 ». Les collèges ayant lemieux réussi l’exercice d’autoévaluationsont ceux qui ont développé et maintenuune expertise datant des premiersexercices d’évaluation, par exemple endésignant un conseiller pédagogiquechargé d’assurer le transfert despratiques et des ressources. Outre le
fait de réinvestir dans l’expertise acquised’un département à l’autre de chaquecollège, la Commission recommande quele devis d’évaluation fasse l’objet deconsultations impliquant les profes-seurs concernés et la direction afin demieux orienter les travaux et d’établirles bases pour un suivi ultérieur, parexemple lors de la planificationstratégique de l’établissement.
Enfin, il est recommandé que les collègesévaluent en profondeur la pertinence etla cohérence de chaque programme aumoins une fois tous les dix ans. Citantl’exemple d’un diplôme en techniqueinformatique rendu désuet par lesnouvelles technologies, un des com-missaires a souligné, au cours de laprésentation, l’importance de ne pasattendre que le taux d’inscription à unprogramme baisse pour s’interroger sursa pertinence. Parmi les indicateurs lesplus typiques, on trouve le taux deréussite et le taux de placement enemploi ou à l’université. Le contenu decertains cours, leur position à l’intérieurdu programme ainsi que les méthodespédagogiques sont aussi à revoir lorsd’une telle évaluation. À partir de leursrésultats, les collèges peuvent produireun plan d’action prescrivant, parexemple, des efforts particuliers àl’égard de certains étudiants, denouveaux cours ou de nouveauxéquipements.
Le rapport peut être téléchargé à partirdu site Web de la Commission :www.ceec.gouv.qc.ca/fr/publications/rapport_synthese.htm
On y trouve aussi d’autres rapports,ainsi que les guides d’évaluation fournispar la Commission aux collèges lors deprojets antérieurs d’évaluation desprogrammes d’études collégiales.
18
L’ application des politiques institutionnellesd’évaluation des programmes
Février 2003
❍19
• L’activité du 24 févriersera reprise en mars àMontréal.
• L’activité du 7 marssera reprise en avril àMontréal.
Date à déterminer
Montréal
Février 2003
❍
