View
108
Download
3
Category
Preview:
Citation preview
L’évaluation de L’évaluation de programme :programme :
Un acte professionnelUn acte professionnel
Marthe Hurteau
Gilles Raîche
Université du Québec à Montréalhttp://www.er.uqam.ca/nobel/r17165/RECHERCHE\COMMUNICATIONS\
Plan de la présentationPlan de la présentation
1. Ce qu’est l’évaluation, incluant l’approche des indicateurs de performance
2. Les modalités d’encadrement de la pratique
3. Le positionnement de l’évaluation en recherche
4. En conclusion : les défis et avenues
L’évaluation :L’évaluation :Une activité à la fois Une activité à la fois professionnelle et professionnelle et
complexe…complexe…
Définition
L'ÉVALUATION:
une collecte d'information systématique sur: les intrants les processus les extrants: produits résultats impacts à l'intention de groupes d'intérêts concernés- parties
prenantes (stakeholders) pour: mieux comprendre ce que l'on fait et mieux agir; confirmer ce que l’on fait; décider si on continue ou non;
etc.
Toute évaluation exige
(Logique de l’évaluation) :1. D’établir les critères et les standards :
Caractéristiques de l’objet d’étude sur lesquelles portera le jugement (critères) et le niveau de performance attendu pour chacune d’elles (standard);
2. De mesurer la performance à l’aide de méthodes et techniques appropriées;
3. De comparer les résultats obtenus avec les standards établis à l’étape.
4. De porter un jugement de valeur sur la performance du programme.
Ainsi :
Une démarche sans critère – standard- ne permet pas de déterminer l’ écart et porter un jugement.
La démarche devient alors la description d’un phénomène et non une évaluation.
LOGIQUE DE L’ÉVALUATION
Choix stratégiquesChoix
méthodologiques
Relations
avec le client
Pour y parvenir :
Plus spécifiquement :Choix stratégiques :• Pourquoi faire l’évaluation• La question de l’évaluation• L’objet de l’évaluation• Le choix des critères spécifiques à la démarche
Choix méthodologiques :• Quelle information?• Auprès de qui?• Comment?Relation avec le client : Leader dans la
démarche? participatif? Empowerment? Etc.
Les indicateurs de performance :
1. Indicateurs quantitatifs portant sur les différents aspects d’un programme en vue d’en assurer le monitoring
RessourcesRésultatsProductivitéEfficacitéEfficienceQualité des servicesEffets
Illustration :Résultats Cibles
Prise en charge des jeunes:
Aspirations positives des jeunes en regard de leur avenir
% d’enfants dont le comportement demeure stable après un an de la fin de l’intervention
Consolidation des familles
Développement de habiletés parentales
3 000 parents vont améliorer leurs habiletés suite à l’intervention
Satisfaction de la clientèle
Interventions
Résultats obtenus
80% des parents se prononcent au moins satisfaits
Les indicateurs de performance :
2. Ne peuvent se substituer aux autres formes d’évaluation parce qu’ils ne sont pas en mesure de répondre aux questions concernant :
Le comment? Le pourquoi?
Poister, T.H. (2004) Performance Monitoring
Des modalités Des modalités d’encadrement de la d’encadrement de la
pratiquepratique
Standards de pratique
L’utilité (l’évaluation fournit l’information requise aux utilisateurs de l’évaluation)
La faisabilité (l’évaluation est réaliste, prudente et diplomatique)
La propriété (l’évaluation est conduite de façon légale, éthique et elle garantie le bien-être des personnes impliquées)
L’exactitude, la précision (l’évaluation fournit de l’information précise et exacte afin qu’un jugement de valeur puisse être émis)
30 standards de pratique ont été établis
Lignes directives en éthique
Les principes de base :La compétence (Les évaluateurs doivent faire preuve de compétence dans la prestation de leurs services)
L’intégrité (Les évaluateurs doivent agir avec intégrité dans leurs relations avec tous les intervenants)
L’imputabilité (Les évaluateurs doivent être garants de leur rendement et de leur produit).
11 lignes directives en découlent
Les revues scientifiques
Sur le continent américain uniquement :
La revue canadienne en évaluation de programme
The American Journal of Evaluation
Evaluation
New Directions for Evaluation
Mesure et évaluation en éducation
La formation professionnelle
Les compétences essentielles (SCÉ)Comprendre l’évaluationPlanifier une évaluationAméliorer la performance d’un programmeÉvaluer les résultats
Congrès et ateliers nationaux, provinciaux et internationaux
Formation offerte par des organismes privés
Les formations universitaires
Au Québec :La maîtrise en évaluation de programmes à l’École nationale d’administration publique (ÉNAP)
Le programme court en évaluation de programmes de formation à l’Université du Québec à Montréal (UQAM)
Le positionnement de Le positionnement de l’évaluation de l’évaluation de programme en programme en
recherche au Québec recherche au Québec et au Canadaet au Canada
La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (1)
ORGANISME PROJETS (n) $ % du $
Université de Montréal 2 177 837 10
Université de Sherbrooke 2 289 360 17
UQAM 2 154 291 9
UQAT 0 0 0
UQO 0 0 0
UQTR 1 9 984 1
McGill 1 105 910 6
Laval 4 429 645 25
Non universitaire 4 553 078 32
Total 16 1 720 105 100
La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (2)
DISCIPLINE PROJETS (n) %
Anthropologie 1 6
Éducation 2 12
Géographie 1 6
Histoire 1 6
Psychologie 7 41
Sciences sociales et humaines 1 6
Sciences de la santé 3 18
Sociologie 1 6
Total 171 1001. Un projet s’applique à deux disciplines
La recherche financée au Canada
Recherche fondamentale
Modélisations
Méthodologie
Indicateurs nationaux et internationaux
ConclusionConclusion
Les défis
Depuis 40 ans, on fait le même constat à tous les 10 ans :
L’évaluation – ou ce qu’on en fait- ne répond pas aux attentes des clients (jugements émis, recommandations…)
Avenues?
Mettre l’accent sur la logique de l’évaluation plutôt que sur des méthodologies et des approches « à la mode »;
Critères et standards
Observations Standards
Jugement
Avenues?
Outiller adéquatement les intervenants dans les différents milieux.
Afin que l’évaluation soit perçue et vécue…
… Comme une
démarche qui
ÉCLAIRE
l’action!
MERCI
Recommended