L’évaluation à RNCan :

Renseignements à l’intention des gestionnaires de programme

Division de l'évaluation stratégiqueIntégration des sciences et des politiques

Juillet 2012

2

.

But

• Le document vise à donner aux gestionnaires de programme une vue d’ensemble de la fonction d’évaluation à RNCan.

• La nouvelle politique du Secrétariat du Conseil du Trésor (SCT) concernant l’évaluation (avril 2009) exige une évaluation quinquennale de toutes les dépenses directes, y compris tous les programmes de subvention et de contribution

– la plupart des gestionnaires de programme devront participer à une évaluation à un moment donné

3

.

Qu’est-ce qu’une évaluation? • l'évaluation est la collecte et l'analyse systématiques de données

probantes sur les résultats des programmes afin d'en évaluer :– la pertinence;

– le rendement, et de

– trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats.

• Les évaluations doivent être neutres et fondées sur des preuves. • Une évaluation n’est pas une vérification.

Évaluations VérificationsVisent à déterminer si les mesures sont appropriées et à établir à quel point un programme atteint les résultats attendus dans la limite d’une saine gestion financière.

La vérification interne se penche sur la gestion financière, les processus, les contrôles et les risques.

Évaluent la pertinence et le rendement des programmes.

Déterminent les forces et les faiblesses du cadre du contrôle de la gestion.

4

.

Pourquoi effectuer des évaluations?

• L’évaluation a pour objet d’établir une base exhaustive et fiable d’information probante servant à appuyer :

– l’amélioration des politiques et des programmes;

– la gestion des dépenses;

– la prise de décisions par le Cabinet;

– la responsabilité à l'égard du public.

• Les évaluations sont souvent demandées pour appuyer les Soumissions au Conseil du Trésor (CT) et les mémoires au Cabinet.

• Elles représentent aussi une source importante de données qui sert à justifier la réaffectation des ressources dans le cadre des examens stratégiques (le prochain examen aura lieu en 2014).

5

.

Contexte : Intervenants de la fonction d’évaluation

Sous-ministre (SM) de RNCan

Public canadien

Gestionnaires

de programme SCT

Rapports d’évaluation

Sous-ministres adjoints (SMA) des secteurs

Cabinet

Examen stratégique

Amélioration des politiques et des

programmes

Gestion des dépenses / Prise de décisions par le Cabinet

Parlement

Responsabilité / Rapports destinés au

public

Le défi consiste à combler les différents besoins en information de nombreux intervenants afin de prendre des décisions et de produire des rapports destinés au public en temps opportun.

6

.

Le cycle de l’évaluation

Planification de l’évaluation

Approbation /Affichage

(de 2 à 3 mois)

Examen de l’évaluation(de 1 à 3 mois)

Rapport et recommandations

(de 1 à 4 mois)

Mise en œuvre des changements

Passation de marchés(de 1 à 2 mois)

Travail sur le terrain / Analyse(de 6 à 8 mois)

Réponse de la direction(1 mois)

En incluant la planification, et les approbations et l’affichage, les

grandes évaluations prennent en général de 12 à 18 mois à réaliser.

Certaines étapes peuvent se chevaucher.

7

.

Planification de l’évaluation

• RNCan doit évaluer toutes les dépenses directes des programmes, y compris les programmes de subvention et de contribution en vigueur, tous les cinq ans.

• RNCan a élaboré un plan d’évaluation quinquennal axé sur les unités de l’architecture des activités de programmes (AAP). Il est mis à jour annuellement et approuvé par le Comité d’évaluation.

• Dans la plupart des cas, l’évaluation d’un programme en particulier est effectuée dans le cadre d’une évaluation plus globale de l’unité de l’AAP.

• Le sommaire du plan actuel est affiché sur le site Internet de l’évaluation stratégique : http://nrcan.gc.ca/evaluation/plans-fra.php.

8

.

Étapes de l’évaluation1. Examen de l’évaluation (de 1 à 3 mois)

– effectuer la recherche et la planification dans le but de comprendre les programmes

– rédiger le cadre de référence

– obtenir l’approbation du Comité d’évaluation

2. Passation de marchés (de 1 à 2 mois)

– On embauche souvent des consultants pour compléter le personnel du Ministère. Leurs rôles varient selon le projet.

3. Travail sur le terrain ou collecte de données / Analyse (de 6 à 8 mois)

– rédiger un rapport détaillé de la méthodologie

– méthodologies : entrevues menées auprès des sources d’information clés; groupes de consultation; analyses documentaires; sondages; études de cas; analyses de données et analyses économiques

– analyser l’information provenant de différentes sources de données afin d’en tirer des conclusions

9

.

Étapes de l’évaluation (suite)4. Production de rapports et élaboration des recommandations (de 2 à 4

mois) – préparer les résultats préliminaires et en discuter avec les

responsables des programmes – rédiger l’ébauche du rapport – traiter les commentaires et les révisions – élaborer les recommandations

5. Réponse de la direction (1 mois)– obtenir les réponses de la direction et les plans d’action découlant

des recommandations une fois que ces réponses et ces plans ont été approuvés par le SMA

6. Approbation / Affichage du rapport (de 2 à 3 mois) – recommandation du Comité d’évaluation– approbation de la SM– traduction, examen effectué par le secrétariat de l’accès à

l'information et de la protection des renseignements personnels, infocapsules, diffusion sur Internet

10

.

Questions et enjeux relatifs à l’évaluation

• Les évaluations traitent de la pertinence et du rendement.

• Les enjeux de la pertinence portent sur : – la nécessité de maintenir le programme;

– l’harmonisation avec les priorités du gouvernement;

– l’harmonisation avec les rôles et les responsabilités du gouvernement fédéral.

• Les enjeux du rendement portent sur l’efficacité :– obtention des résultats attendus;

– démonstration de l’efficacité et de l’économie.

• Les évaluateurs travaillent avec les gestionnaires de programme afin de rédiger des questions détaillées mieux adaptées à l’évaluation de leur programme.

11

.

Rôles et responsabilités

• Aux termes de la politique du SCT sur l’évaluation, les sous-ministres sont responsables de la fonction d’évaluation.

• Le Comité d'évaluation ministériel de RNCan, qui se situe au niveau des SMAs, est présidé par le Sous-ministre.

• Le Chef des évaluations du Ministère relève du Comité d'évaluation; il est également le DG de Planification, gestion du rendement et production de rapports.

12

.

Le rôle de la Division de l’évaluation

• La Division de l'évaluation stratégique (DES) a comme responsabilité : – de proposer un plan d’évaluation quinquennal du Ministère et de le mettre

à jour tous les ans;

– de gérer et de diriger les études d’évaluation, ce qui comprend la gestion des contrats et des résultats lors de l’embauche de conseillers, et de produire les rapports en temps opportun.

• De plus, la DES aide les gestionnaires de programme à élaborer des stratégies de mesure du rendement dans le but d’assurer la collecte de données fiables pour appuyer les évaluations dans l’avenir.

– La Division de l’évaluation travaillera avec votre équipe afin mettre au point les objectifs, le modèle logique, le cadre de mesure du rendement et les exigences de l’évaluation.

• La Division de l’évaluation stratégique de RNCan a aussi la responsabilité d’examiner les dispositions des documents du Cabinet (mémoires au Cabinet [MC] et présentations au CT) concernant la responsabilisation et le rendement et de formuler des conseils à cet égard.

13

.

Le rôle des gestionnaires de programme

• Les gestionnaires de programme sont indispensables à la réalisation des évaluations.

• Ils sont responsables des bases de l’évaluation : l’élaboration et la mise en œuvre des moyens pris pour mesurer le rendement et la surveillance de cette mise en œuvre.

• De plus, au cours d’une évaluation, ils doivent participer activement :– à l’explication du fonctionnement de leurs programmes;

– à la planification des évaluations, y compris l’élaboration de questions d’évaluation plus détaillées;

– à la communication de renseignements sur les mesures de rendement liées aux ressources utilisées, aux activités poursuivies et aux résultats atteints;

– à la communication de documents détaillés (voir la prochaine diapositive) et de recommandations concernant les candidats potentiels aux entrevues et les études de cas;

– aux activités des groupes de travail liées à l’examen des questionnaires et des résultats préliminaires et à la rédaction de l’ébauche des rapports d’évaluation, etc.

– à la mise au point des réponses de la direction et des plans d’action destinés à leurs SMA et à la mise en œuvre de ces plans après l’évaluation.

14

.

Documents principaux de l’évaluation

• Lors de la préparation d’une évaluation, les gestionnaires de programme seront priés de fournir au plus vite les documents principaux suivants :

– lois, règlements, MC, présentations au CT

– les cadres de gestion et de responsabilisation axés sur les résultats, les cadres de vérification axés sur les risques ou les cadres de mesure du rendement

– références dans les budgets, discours du Trône, rapports ministériels sur le rendement, rapports sur les plans et priorités

– les notes d’information et les rapports, y compris les rapports annuels et les rapports sur les projets, les études et les bases de données

– sites Internet et produits de communication

– le relevé des dépenses sur cinq ans de l’unité de l’AAP, y compris les dépenses liées aux subventions, aux contributions, au fonctionnement, à l’entretien et aux salaires

15

.

Questions et soutien

• Si vous avez des questions concernant l’évaluation, ou si vous voulez l’aide de la Direction de l’évaluation afin de mettre au point de l’information sur les mesures du rendement ou des documents du Cabinet, veuillez consulter :

• le directeur de l’évaluation stratégique

(613) 996-9649

• Une version électronique de ce document, des rapports d’évaluation complets et du mandat du Comité d’évaluation sont disponibles en ligne à l’adresse suivante :

http://nrcan.gc.ca/evaluation/index-fra.php