L’évaluation de L’évaluation de programme :programme :

Un acte professionnelUn acte professionnel

Marthe Hurteau

Gilles Raîche

Université du Québec à Montréalhttp://www.er.uqam.ca/nobel/r17165/RECHERCHE\COMMUNICATIONS\

Plan de la présentationPlan de la présentation

1. Ce qu’est l’évaluation, incluant l’approche des indicateurs de performance

2. Les modalités d’encadrement de la pratique

3. Le positionnement de l’évaluation en recherche

4. En conclusion : les défis et avenues

L’évaluation :L’évaluation :Une activité à la fois Une activité à la fois professionnelle et professionnelle et

complexe…complexe…

Définition

 

          

  L'ÉVALUATION:     

une collecte d'information systématique sur: les intrants les processus les extrants: produits résultats impacts à l'intention de groupes d'intérêts concernés- parties

prenantes (stakeholders) pour: mieux comprendre ce que l'on fait et mieux agir; confirmer ce que l’on fait; décider si on continue ou non;

  etc.

Toute évaluation exige

(Logique de l’évaluation) :1. D’établir les critères et les standards :

Caractéristiques de l’objet d’étude sur lesquelles portera le jugement (critères) et le niveau de performance attendu pour chacune d’elles (standard);

2. De mesurer la performance à l’aide de méthodes et techniques appropriées;

3. De comparer les résultats obtenus avec les standards établis à l’étape.

4. De porter un jugement de valeur sur la performance du programme.

Ainsi :

Une démarche sans critère – standard- ne permet pas de déterminer l’ écart et porter un jugement.

La démarche devient alors la description d’un phénomène et non une évaluation.

LOGIQUE DE L’ÉVALUATION

Choix stratégiquesChoix

méthodologiques

Relations

avec le client

Pour y parvenir :

Plus spécifiquement :Choix stratégiques :• Pourquoi faire l’évaluation• La question de l’évaluation• L’objet de l’évaluation• Le choix des critères spécifiques à la démarche

Choix méthodologiques :• Quelle information?• Auprès de qui?• Comment?Relation avec le client : Leader dans la

démarche? participatif? Empowerment? Etc.

Les indicateurs de performance :

1. Indicateurs quantitatifs portant sur les différents aspects d’un programme en vue d’en assurer le monitoring

RessourcesRésultatsProductivitéEfficacitéEfficienceQualité des servicesEffets

Illustration :Résultats Cibles

Prise en charge des jeunes:

Aspirations positives des jeunes en regard de leur avenir

% d’enfants dont le comportement demeure stable après un an de la fin de l’intervention

Consolidation des familles

Développement de habiletés parentales

3 000 parents vont améliorer leurs habiletés suite à l’intervention

Satisfaction de la clientèle

Interventions

Résultats obtenus

80% des parents se prononcent au moins satisfaits

Les indicateurs de performance :

2. Ne peuvent se substituer aux autres formes d’évaluation parce qu’ils ne sont pas en mesure de répondre aux questions concernant :

Le comment? Le pourquoi?

Poister, T.H. (2004) Performance Monitoring

Des modalités Des modalités d’encadrement de la d’encadrement de la

pratiquepratique

Standards de pratique

L’utilité (l’évaluation fournit l’information requise aux utilisateurs de l’évaluation)

La faisabilité (l’évaluation est réaliste, prudente et diplomatique)

La propriété (l’évaluation est conduite de façon légale, éthique et elle garantie le bien-être des personnes impliquées)

L’exactitude, la précision (l’évaluation fournit de l’information précise et exacte afin qu’un jugement de valeur puisse être émis)

30 standards de pratique ont été établis

Lignes directives en éthique

Les principes de base :La compétence (Les évaluateurs doivent faire preuve de compétence dans la prestation de leurs services)

L’intégrité (Les évaluateurs doivent agir avec intégrité dans leurs relations avec tous les intervenants)

L’imputabilité (Les évaluateurs doivent être garants de leur rendement et de leur produit).

11 lignes directives en découlent

Les revues scientifiques

Sur le continent américain uniquement :

La revue canadienne en évaluation de programme

The American Journal of Evaluation

Evaluation

New Directions for Evaluation

Mesure et évaluation en éducation

La formation professionnelle

Les compétences essentielles (SCÉ)Comprendre l’évaluationPlanifier une évaluationAméliorer la performance d’un programmeÉvaluer les résultats

Congrès et ateliers nationaux, provinciaux et internationaux

Formation offerte par des organismes privés

Les formations universitaires

Au Québec :La maîtrise en évaluation de programmes à l’École nationale d’administration publique (ÉNAP)

Le programme court en évaluation de programmes de formation à l’Université du Québec à Montréal (UQAM)

Le positionnement de Le positionnement de l’évaluation de l’évaluation de programme en programme en

recherche au Québec recherche au Québec et au Canadaet au Canada

La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (1)

ORGANISME PROJETS (n) $ % du $

Université de Montréal 2 177 837 10

Université de Sherbrooke 2 289 360 17

UQAM 2 154 291 9

UQAT 0 0 0

UQO 0 0 0

UQTR 1 9 984 1

McGill 1 105 910 6

Laval 4 429 645 25

Non universitaire 4 553 078 32

Total 16 1 720 105 100

La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (2)

DISCIPLINE PROJETS (n) %

Anthropologie 1 6

Éducation 2 12

Géographie 1 6

Histoire 1 6

Psychologie 7 41

Sciences sociales et humaines 1 6

Sciences de la santé 3 18

Sociologie 1 6

Total 171 1001. Un projet s’applique à deux disciplines

La recherche financée au Canada

Recherche fondamentale

Modélisations

Méthodologie

Indicateurs nationaux et internationaux

ConclusionConclusion

Les défis

Depuis 40 ans, on fait le même constat à tous les 10 ans :

L’évaluation – ou ce qu’on en fait- ne répond pas aux attentes des clients (jugements émis, recommandations…)

Avenues?

Mettre l’accent sur la logique de l’évaluation plutôt que sur des méthodologies et des approches « à la mode »;

Critères et standards

Observations Standards

Jugement

Avenues?

Outiller adéquatement les intervenants dans les différents milieux.

Afin que l’évaluation soit perçue et vécue…

… Comme une

démarche qui

ÉCLAIRE

l’action!

MERCI