Pour l’atteinte de résultats

pour les citoyens

du QuébecUne analyse de l’application de la Loi sur l’administration

publique (2011-2017) et de ses impacts

MARC-NICOLAS KOBRYNSKY08/01/2018

performance des ministères du

gouvernement du Québec

RAPPORT 2018 SUR LA

BULLETIN DES MINISTÈRES

2

Ana

lyse

du

plan

str

atég

ique

201

2-17

Table des matièresAvant-propos .................................................................................................................................. 5

Introduction .................................................................................................................................... 7

Première partie — La Loi sur l’administration publique ................................................................11

Deuxième partie — Respect des obligations légales de la LAP .................................................... 15

Troisième partie — Atteinte des objectifs de la LAP ....................................................................25

Quatrième partie — Résultats du gouvernement .........................................................................37

Cinquième partie — le Bulletin des ministères ............................................................................43

Conclusion finale - Machine de 100 milliards cherche conducteur ..............................................49

Prochaines étapes ...................................................................................................................... 51

ANNEXES ...................................................................................................................................... 53

4

Ana

lyse

du

plan

str

atég

ique

201

2-17

5

Ana

lyse

du

plan

str

atég

ique

201

2-17

Cette démarche est née d’une conversation entre amis — au départ banale, mais sûrement maintes fois répétée dans les foyers politisés du Québec — où les participants déploraient l’impossibilité d’évaluer la performance de prestations de services et des missions de l’administration publique. Cette absence d’information est un déficit démocratique grave qui a servi d’inspiration lors de la rédaction du premier rapport et qui est au cœur de notre démarche subséquente.

La premier Bulletin des ministères 2017 a connu une notoriété qui dépassait largement les attentes de l’auteur. Discuté à la radio, repris dans les chroniques et débattu à la Chambre des communes, il a marqué le débat public et a mené à des engage-ments du parti au pouvoir. Onze nouveaux plans stratégiques ont été déposés depuis la parution du Bulletin 2017. Dix mois plus tard, ce deuxième rapport vient faire le point sur ces changements et présenter l’état de la situation pour 2018.

La deuxième mouture du rapport s’est élargie pour passer de treize à dix-neuf ministères. Elle a bénéficié de commentaires constructifs et s’est raffinée en termes de méthodologie. L’effort pour produire ce rapport reste significatif et entraîne son lot de sacrifices pour l’auteur, mais à la lumière des constats soulevés, est toujours aussi nécessaire.

C’est notre espoir que notre démarche mène à des changements significatifs dans l’administration publique. Nous serons de retour l’année prochaine et les années subséquentes pour nous en assurer.

Née d’un effort citoyen, cette étude est non partisane et n’est pas affiliée à quelque parti ou organisme politique. De plus, l’auteur n’a reçu aucune compensation financière ou autre pour sa réalisation.

Les conclusions sont basées en partie sur des méthodologies déjà reconnues ou développées par l’auteur. Celui-ci s’est aussi appuyé sur l’expertise acquise au cours d’un B.A. aux HEC, d’une M. Sc. en Management au London School of Economics et de ses 15 ans d’expérience en consultation de processus et de stratégies dans le secteur privé.

Sur une note plus personnelle, bien que j’en sois le seul signataire, cette étude a grandement profité de conseils, de direction, de critiques éclairées et du soutien de quelques individus, qui se reconnaîtront, et à qui j’aimerais spécialement exprimer ma gratitude. Mes remerciements vont aussi à la revue d’affaires publiques l’Actualité, une équipe passionnée avec qui c’est un immense plaisir de collaborer. Finalement, mes remerciements à ma conjointe qui comprend et encourage cette implication citoyenne bénévole et prend (généralement) avec philosophie les contraintes qu’elle peut apporter à une vie de couple.

AVANT-PROPOS

6

Ana

lyse

du

plan

str

atég

ique

201

2-17

7

Ana

lyse

du

plan

str

atég

ique

201

2-17

Plusieurs événements des dernières années nous ont amenés à nous intéresser à la gestion gouvernementale :

n Surplus budgétaires obtenus concurremment à des augmentations d’impôt et de taxes et d’une apparente diminution dans le niveau de prestation de services à la population ;

n Nombreux changements dans la vision de la gestion administrative du gouvernement (abandon de la réforme de programmes et de la réforme de la fiscalité, etc.) ;

n Crises ponctuelles démontrant des lacunes de gestion dans plusieurs ministères, par exemple à la Justice, au point où des procès sont annulés à la suite de délais judiciaires inacceptables.

Pourquoi publier ce rapport ?Maintenant que le gouvernement a atteint son objectif du déficit zéro :

n Qu’en est-il de l’évolution de la qualité des services offerts aux citoyens et de la capacité des ministères à remplir leur mission ?

n Comment la population peut-elle suivre cette évolution et obtenir des données factuelles et crédibles, mises à jour régulière-ment et de façon conviviale ?

n Le gouvernement atteint-il les cibles qu’il se fixe ?

n Et dans une optique plus large, peut-on faire mieux en matière de services tout en conservant un équilibre budgétaire dans les finances publiques ?

Pour répondre à ces questions, nous avons donc entrepris de faire un travail de recherche sur la gestion gouvernementale. Au Québec, La Loi de l’administration publique (LAP), établie en 2000, oblige les ministères et organismes du gouvernement à choisir des indicateurs représentatifs des services aux citoyens, à se fixer des objectifs, et à rapporter annuellement la progression du ministère sur ces indicateurs. Le but de la Loi est de forcer les ministères à l’imputabilité quant à la livraison de résultats tangibles pour la population, et à la transparence vis-à-vis non seulement de ces résultats, mais aussi de l’état général de leur mission.

Il s’agit donc ici, pour nous, de voir si le gouvernement du Québec répond à la propre gouvernance qu’il a mise en place en 2000 pour atteindre ses objectifs. Notre but est donc double :

n Évaluer la situation actuelle ;

– Évaluer l’adhésion des ministères à la forme (obligations légales LAP) et au fond (réel effort d’atteindre les objectifs de la LAP) de la Loi sur l’administration publique (A-6.01 - 2000) qui introduisait la philosophie de gestion par résultat.

– Brosser un portrait de l’atteinte des résultats par les ministères aux cibles qu’ils s’étaient eux-mêmes fixées.

n Suivre l’évolution de la performance des ministères dans le temps ;

Produire une forme de tableau de bord des résultats pour suivre la progression du gouvernement dans sa gestion gouverne-mentale.

INTRODUCTION

8

Ana

lyse

du

plan

str

atég

ique

201

2-17

La première édition du Bulletin 2017 comportait l’analyse de 13 ministères responsables ensemble de 93 % des dépenses de programmes du gouvernement. Pour l’édition de 2018, nous avons ajouté 6 autres ministères, portant le total à 19 et couvrant ainsi de façon générale l’ensemble des ministères visés par la LAP.

Seuls deux ministères, celui de l’Assemblée nationale et celui des Affaires municipales et de l’Occupation du territoire (MAMOT), ont été écartés parce qu’ils ont des fonctions majoritairement législatives ou administratives et donc ne revêtent que peu d’in-térêt pour l’étude.

Pour ce faire, nous avons étudié :

n Les rapports de gestion annuels de chaque ministère sur un horizon de cinq à huit ans, plus particulièrement la qualité et l’adhésion aux indicateurs inscrits aux plans stratégiques ;

n Les rapports pertinents du président du Conseil sur la LAP et les rapports de la Commission de l’AP ;

n Les rapports et études d’experts ayant déjà étudié l’implantation ou les effets de la LAP.

L’analyse de la performance gouvernementale s’est faite à travers le prisme des meilleures pratiques de gestion dans le choix et le suivi d’indicateurs, mais s’est aussi inspirée des conclusions de plusieurs spécialistes ayant déjà étudié la question de la gestion gouvernementale autant au Québec qu’ailleurs dans le monde.

Notre analyse est inédite pour plusieurs raisons :

n Elle est détaillée. À notre connaissance, c’est la seule étude qui va jusqu’au détail de chaque indicateur, des cibles et des résultats. Ce serait aussi la seule qui présente les performances par ministères, le rapport du Conseil du trésor agrégeant l’information sans jamais en présenter le détail.

n Elle est qualitative. À notre connaissance, c’est la première étude qui évalue la qualité des indicateurs et des cibles en se basant sur une méthodologie reconnue, SMARTER, et non simplement sur leur présence ou leur absence, comme le fait le rapport d’implantation du président du Conseil du trésor.

n Elle présente les résultats. À notre connaissance, c’est la première étude qui recense la performance des ministères en matière d’adhésion aux engagements et aux cibles qu’ils se sont fixées eux-mêmes. Le rapport d’implantation du président du Conseil du trésor s’astreint à recenser les ministères qui présentent leurs engagements et non l’atteinte de leurs cibles.

n Elle est récurrente. Le Bulletin des ministères sera mis à jour tous les ans à la suite du dépôt des rapports de gestion des ministères. Cette récurrence permettra de suivre l’évolution des ministères à travers le temps.

»«Pour l’édition de 2018, nous avons ajouté 6 autres ministères,

portant le total à 19 et couvrant ainsi de façon générale

l’ensemble des ministères visés par la LAP. 

9

Ana

lyse

du

plan

str

atég

ique

201

2-17

Les grandes parties du Rapport sur la performance des ministères du Québec 2018L’analyse se décline toujours en cinq grandes parties :

n La première présente les objectifs et les obligations de Loi sur l’administration publique ;

n La seconde s’attarde à l’analyse de l’adhésion des ministères aux obligations légales de la LAP ;

n La troisième se penche sur la qualité des indicateurs et des cibles présentes aux plans stratégiques des ministères ;

n La quatrième s’intéresse à la présentation de l’atteinte des cibles par les ministères respectifs ;

n La dernière présente le classement des ministères basé sur les résultats obtenus dans les trois premières parties.

Le rapport a connu quelques changements depuis sa dernière édition en 2017. En voici un sommaire :

n Dans la seconde partie, l’analyse des moyens de contrôle de la LAP n’a pas été renouvelée cette année. En effet, il n’y a eu aucune amélioration apportée dans l’année en cours et les déficiences relevées en 2017 sont toujours aussi présentes. Ce sujet sera donc discuté en conclusion ;

n Dans la troisième partie, l’analyse de l’adéquation des missions et des indicateurs choisis a été abandonnée, remplacée par un critère plus simple, celui des cibles intermédiaires (annuelles). Ce choix n’a pas été fait à la légère, puisque l’auteur consi-dère toujours cette adéquation comme primordiale pour l’atteinte de résultats significatifs pour la population du Québec. Il se propose d’en faire un rapport séparé au courant de 2019 ;

n L’ajout du critère de la présence de cibles annuelles dans des plans pluriannuels était un choix naturel puisqu’il est un vecteur important d’imputabilité. Sans ces cibles intermédiaires, il est plus complexe de mesurer la performance des ministères sur une base régulière ;

n Dans la quatrième partie, l’atteinte des résultats est maintenant mesurée sur la dernière année fiscale complétée et non sur l’ensemble d’un plan stratégique. Les rapports annuels de 2016-17 et les plans stratégiques en vigueur pour cette année fiscale ont donc servi de base pour l’analyse.

10

Ana

lyse

du

plan

str

atég

ique

201

2-17

11

Ana

lyse

du

plan

str

atég

ique

201

2-17

La Loi sur l’administration publique

La Loi sur l’administration publique (LAP) a été adoptée à la majorité le 25 mai 2000 et a pris effet cinq jours plus tard, le 30 mai 2000. La Loi vise à transformer l’ensemble de la fonction publique pour la faire progresser vers une gestion basée sur les résultats, imputable, axée sur le citoyen et transparente.

Voici un extrait de la présentation de la Loi sur le site de l’Assemblée nationale :

« La Loi sur l’administration publique  (chapitre A-6.01) affirme la priorité accordée à la qualité des services aux citoyens. Elle prescrit un cadre de gestion axée sur l’atteinte des résultats et elle est basée sur le respect du principe de la transparence. Elle favorise l’obligation de rendre compte de l’Administration gouvernementale devant l’Assem-blée nationale. »

Pour atteindre ces résultats, la LAP introduit pour les ministères deux types d’obligations de divulgation d’informations aux citoyens, toutes deux produites annuellement dans un document intitulé Rapport de gestion du ministère X, 20XX-20XXn La Déclaration de services aux citoyens (DSC)

n Le plan stratégique (PS)

L’objectif, dans les deux cas, est de forcer les ministères à passer à une gestion basée sur les résultats et de rendre ceux-ci publics. Chaque ministère doit s’informer, généralement à l’aide de sondages, des attentes et besoins de la population, s’as-treindre à des cibles et compiler les informations nécessaires pour rendre compte de ses résultats.

Déclaration de services aux citoyensDans la Déclaration de services aux citoyens, les ministères ont choisi de publier les résultats liés à la prestation de services administratifs directs. Pour ce type de services, on doit donc retrouver :

n Les attentes des citoyens quant aux services et au niveau de services offerts ;

n Une définition claire de chaque prestation de service fournie ;

n Les objectifs de niveau et de qualité de service pour les prestations de services aux citoyens ;

– Accessibilité,

– Délai,

– Qualité,

n Les résultats de prestations de services aux citoyens.

PREMIÈRE PARTIE

12

Ana

lyse

du

plan

str

atég

ique

201

2-17

»«La Loi vise à transformer l’ensemble de la fonction

publique pour la faire progresser vers une gestion

basée sur les résultats, imputable, axée sur le citoyen

et transparente. 

13

Ana

lyse

du

plan

str

atég

ique

201

2-17

Plan stratégiqueD’après le texte de la Loi, le but du plan stratégique est de forcer les ministères à s’astreindre à un plan stratégique qui couvre plus d’un an, et où l’on retrouve :

n La description du ministère ;

n Le contexte dans lequel le ministère évolue et les enjeux auquel il fait face ;

n Les résultats visés au terme de la période couverte par le plan ;

n Les indicateurs de performance utilisés pour mesurer l’atteinte des résultats.

L’esprit de la Loi Le but de la LAP est clairement d’infuser dans la fonction publique :

n Une clarification des services offerts et des attentes des citoyens ;

n Une imputabilité de résultats dans les opérations courantes en forçant l’établissement de cibles et la reddition de comptes ;

n Une imputabilité de résultat dans la planification stratégique qui se décline en résultats concrets, mesurés par des indicateurs d’effets-impacts.

La reddition de compteLa reddition de compte se fait par les ministères, le Conseil du trésor et la Commission de l’AP :

n Chacun des ministères doit produire un rapport de gestion annuel qui comprend une présentation des résultats obtenus par rapport aux objectifs prévus par le plan stratégique visé ;

– Le délai maximal prévu est de quatre mois suivant la fin de l’année financière, ou, si l’Assemblée ne siège pas, dans les 15 jours suivant la reprise des travaux.

n Le président du Conseil du trésor dépose à l’Assemblée nationale, chaque année, un rapport concernant l’application de la LAP ;

n La Commission parlementaire de l’AP de l’Assemblée nationale doit entendre au moins une fois tous les quatre ans le ministre, si celui-ci le juge opportun, et, selon le cas, le sous-ministre ou le dirigeant d’organisme afin de discuter de leur gestion admi-nistrative.

14

Ana

lyse

du

plan

str

atég

ique

201

2-17

15

Ana

lyse

du

plan

str

atég

ique

201

2-17

Respect des obligations légales de la LAP

IntroductionLa première étape de cette étude est d’évaluer le taux de conformité des ministères aux obligations légales prescrite par la LAP. Avant même d’analyser les indicateurs ou les plans stratégiques, il importe de s’assurer que chaque ministère s’acquitte de ses devoirs au sens de la LAP, ce qui nous donnera une première indication générale du degré d’implantation de la Loi dans l’administration publique.

Nous évaluerons donc le taux de conformité à la Section II — La Déclaration de services aux citoyens, à la Section III — Le plan stratégique ainsi qu’au système de reddition de compte.

La Déclaration de services aux citoyensLa Déclaration de services aux citoyens est d’un faible intérêt aux termes de cette étude parce qu’elle ne contient qu’un portrait des services des employés d’un ministère aux citoyens, sans intermédiaire, comme les demandes de renseignements par téléphone ou les plaintes. En d’autres mots, on peut dire que la DSC porte sur les indicateurs de services administratifs à la population et non sur les indicateurs de missions des ministères envers la population. De plus, les indicateurs de la DSC offrent un portait très limité sur ces mêmes services parce qu’ils portent exclusivement sur l’atteinte d’objectifs de délais de réponses et jamais sur les résultats finaux.

De façon générale, les indicateurs de la DSC portent sur les délais de réponses pour les renseignements généraux, les plaintes et certaines fonctions administratives. Voici les indicateurs de la Déclaration de services aux citoyens 2015-20 du ministère de la Justice, laquelle est représentative des autres DSC des ministères à l’étude.

Justice 2016-2017Justice Délai - Demande de renseignement concernant les infractions et amendes - téléphoneJustice Délai - Demande de renseignement généraux - téléphoneJustice  % - Gestion de l'information envoyé aux jurésJustice Délai - Paiement des jurésJustice Délai - Entrevue avec un greffier des petites créances pour rédaction de la demande d'assistanceJustice  % - Célébrants contactés pour outils et devoirsJustice Délai - Copie de documentJustice Délai - Registre et certifications - téléphoneJustice Délai - Publication des droitsJustice Délai - 1ere commission aux comissaires à l'assermentationJustice Délai - Livraison de lettre patentesJustice Délai - Livraison de signatures numériquesJustice Délai - Révocation de signatures numériquesJustice Délai - Réponse aux plaintes

DEUXIÈME PARTIE

16

Ana

lyse

du

plan

str

atég

ique

201

2-17

Bien que certainement importants pour les usagers des services fournis plus haut, les indicateurs de cette Déclaration de services aux citoyens ne portent en rien sur la mission fondamentale du ministère de la Justice et ne représentent aucunement des services de justice tels l’accessibilité, l’équité, les délais, le taux de succès des procureurs, le soutien aux victimes d’actes criminels, etc.

L’auteur de cette étude reconnaît l’importance pour les ministères de prendre des engagements pour leurs services administra-tifs directs à la population. Cela dit, cette étude s’intéresse en premier lieu à la capacité des ministères de fournir les services liés à leur mission fondamentale, puisque la bonne performance de leurs services administratifs n’est en rien garant de la réalisation de leur mission.

En effet, il n’y a pas de corrélation entre l’atteinte des cibles de performance de services administratifs et celle de l’atteinte de la mission du ministère. C’est donc pourquoi le type, la qualité des indicateurs ainsi que les résultats atteints à la DSC ne feront pas partie de la portée de cette étude. Seule l’existence de la DSC dans le rapport de gestion de 2016-17 des ministères servira de critère à la pondération.

À ce propos, l’auteur se permet de réitérer les mêmes réserves que l’année précédente sur la façon dont les ministères ont interprété les articles de la LAP et sur le choix de la répartition des indicateurs entre la DSC et les plans stratégiques. Pour prendre connaissance de ces réserves, prière de vous référer à l’Annexe 1, qui reprend intégralement les critiques publiées dans le Bulletin 2017.

En fait, on ne note aucun changement positif dans les DSC des ministères pour l’année de référence 2016-17. Cette partie du rapport annuel des ministères demeure toujours relativement insignifiante en ce qui a trait à l’information sur l’atteinte des missions fondamentales des ministères. Même au niveau administratif, les indicateurs de satisfaction de la clientèle brillent encore par leur absence dans les différentes DSC des ministères. Les indicateurs de délais sont inutiles pour permettre à la population de juger de la performance des ministères s’ils ne sont pas accompagnés d’indicateurs de résultats.

De plus, à la lumière des travaux qu’il a réalisés cette année, l’auteur se permet d’ajouter une critique importante de la DSC quant à l’imputabilité et la transparence. En effet, aucun ministère ne présente des statistiques de délais de réponse pour les demandes d’accès à l’information. Cette omission évidente d’indicateurs sur un aspect de services aux citoyens que chaque ministère a la responsabilité de fournir est un autre exemple du peu d’utilité de la DSC en termes d’imputabilité et de transparence pour les citoyens.

La Loi sur l’accès à l’information est un des outils citoyen fondamentaux pour demander des comptes à l’appareil administratif sur l’utilisation des fonds publics et sur l’atteinte de résultats probants pour la population. L’absence d’indicateurs des délais et des résultats de demandes d’accès à l’information est un grave déficit démocratique et une démonstration supplémentaire de l’insignifiance de la DSC dans son format présent.

17

Ana

lyse

du

plan

str

atég

ique

201

2-17

Tableau 3 — Taux de conformité à la section II de la LAP — la Déclaration des services aux citoyens par ministères – 2016/17Tableau 3 - Etat de la Déclaration de Services aux Citoyens dans le rapport de gestion de 2016-17 des ministères

Rapports de Gestion

Finance Santé Travail Culture Justice EducationP

rése

nce

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

2016-17 n  Y n  4 n  Y n  8 n  Y n  7 n  Y n  7 n  Y n  15 n  y n  13Note -Sommaire

Global n  5 n  5 n  5 n  5 n  5 n  5

Rapports de Gestion

Economie Immigration Sécurité Pub. Environnem. Energie & RN MAPAQ Transport

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

2016-17 n  Y n  14 n  Y n  10 n  Y n  7 n  Y n  12 n  Y n  18 n  N n  0 n  Y n  6Note -Sommaire

Global n  5 n  5 n  5 n  3 n  5 n  3 n  5

Rapports de Gestion

Conseil Executif

Conseil Trésor

Faune & Forest

Rel Int & Franco Tourisme Famille

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

Pré

senc

e

# in

dic.

2016-17 n  N n  4* n  Y n  2 n  Y n  4 n  Y n  6 n  Y n  2*Note -Sommaire

Global n  0 n  3 n  5 n  5 n  3 n  5

Le rapport de gestion le plus récent (2016-17) a été utilisé comme base pour l’évaluation de la conformité à la LAP des Déclarations des services aux citoyens de chaque ministère. n Vert : Quatorze des dix-neuf ministères répondent aux exigences de la Loi en ayant une section DSC qui possède des indica-

teurs et des cibles détaillées.n Jaune : Trois des ministères (Environnement, Tourisme, Conseil du trésor) possèdent une section DSC où l’identification des

indicateurs, de leurs cibles et des résultats n’est pas transparente.

– Un quatrième ministère, le MAPAQ, a choisi de ne pas publier une DSC dans son rapport annuel de 2016-17. Il explique cette absence par une baisse de satisfaction de sa clientèle et une volonté de revoir les fondements de sa DSC.

n Rouge : Un seul des ministères, celui du Conseil exécutif, n’avait pas de Déclaration de services aux citoyens en vigueur pour l’année de référence 2016-17.

– Il est à noter que le ministère a publié une nouvelle Déclaration de services aux citoyens en octobre 2016, mais que celle-ci est encore largement déficiente. Seul un engagement sur sept compte des cibles (celui de la diligence), et ces dernières portent uniquement sur les délais de réponses (efforts), et non sur la satisfaction des citoyens envers les réponses.

La pondérationUn ministère qui compte une DSC conforme aux directives de la LAP obtient la note verte et la pondération qui s’y rattache au Bulletin dès des ministères.

Un ministère qui compte une DSC qui n’est pas transparente dans son contenu ou son format obtient une note jaune et la pondé-ration qui s’y rattache au Bulletin des ministères.

Un ministère qui ne compte aucune DSC obtient la note rouge et la pondération qui s’y rattache au Bulletin des ministères.

18

Ana

lyse

du

plan

str

atég

ique

201

2-17

Le plan stratégiqueLe plan stratégique revêt une importance particulière au terme de cette étude puisqu’il comporte les indicateurs de mission, c’est-à-dire ceux qui informent sur la capacité des ministères de remplir leur mission fondamentale (l’Éducation, la Santé, la Sécurité publique, etc.)

Tableau 4 — Taux de conformité à la section III de la LAP — Le plan stratégique par ministères, pour l’année 2016-2017Tableau 4 - Sommaire des éléments de conformité légale à la section III de la LAP (2016-17)

Plan stratégique à jour (En date de sortie du

rapport) (A)

Plan Stratégique à jour pendant l'année de référence 2016-17

(B)

Indicateurs (C)

Cibles (D)( % indicateurs

sans cibles - plan le plus

récent)

Résultats récents

(E)

Note - Tableau

sommaire

Finance O 2017-20 n  N* O n  6 % O n  6Education O 2017-22 n  N O n  12 % N n  0Sante O (2015-20) Y O n  0 % O n  10

Travail O (2015-18) Y O n  0 % O n  10

Culture O (2018-2021) n  N O n  0 % O n  0Famille O (2017-2022) Y O n  4 % O n  10

Rel. Int & Franco O (2014-18) Y O n  0 % O n  10

Conseil Executif O (2018-22) Y O n  59 % O n  6Conseil du Trésor O (2016-19) Y O n  9 % O n  6Forest, Faune & Parc O (2014-18) Y O n  14 % O n  6Tourisme O (2017-20) n  N* O n  18 % O n  6Justice O (2015-20) Y O n  62 % O n  6Economie O (2016-19) Y O n  0 % O n  10

Immigration O (2016-21) Y O n  15 % O n  6Sécurité Pub. O (2017-21) n  N O n  14 % O n  0Environnem. O (2017-21) n  N O n  25 % N n  0Energie & RN O (2018-21) Y O n  8 % O n  6MAPAQ O (2015-18) Y O n  0 % O n  10

Transport O (2017-20) n  N O n  0 % O n  0Taux de conformité 100 % 63 % 100 % 42 % 89 %

Légende n    A,B,C,D,E = O n    B,C,D,E = N n    A = N

Les douze derniers mois ont été fastes en matière de production de nouveaux plans stratégiques. Pas moins de onze ministères sur dix-neuf ont fait l’exercice. Bien que les ministères aient maintenant régularisé leur situation envers les exigences de la LAP, les résultats du Bulletin 2018 reflètent leur situation en 2016-17, l’année de référence, et non leur situation actuelle.

19

Ana

lyse

du

plan

str

atég

ique

201

2-17

Le rapport de gestion le plus récent (2016-17) ainsi que les plans stratégiques publiés jusqu’au 31 mars 2018 ont été utilisés comme base pour l’évaluation de la conformité à la LAP des plans stratégiques de chaque ministère. n Vert : Six ministères possèdent un plan stratégique pluriannuel à jour, qui comporte des indicateurs, des cibles et des résultats

récents.n Jaune : Huit ministères possèdent un plan stratégique récent, mais, selon les ministères, qui n’est pas à jour ou comporte plus

de 5 % d’indicateurs sans cibles.n Rouge : Cinq ministères n’ont pas de plans stratégiques à jour.

Puisqu’il contient les indicateurs ayant le plus d’impact sur la population, un plan stratégique qui n’est pas à jour est particuliè-rement inquiétant pour la population, puisque :n Un plan stratégique reconduit tend, de facto, à démontrer l’échec de l’atteinte de ses objectifs. Si les objectifs et les projets

étaient atteints, le ministère passerait à une nouvelle planification stratégique.n Un plan stratégique reconduit après son expiration tend à démontrer des lacunes dans le processus de planification stra-

tégique du ministère en question, puisqu’une planification stratégique est une obligation de la LAP. Elle n’est donc pas une surprise.

n Un plan stratégique reconduit après son expiration n’est plus efficace puisque les hypothèses et le contexte dans lequel il a été construit ne sont plus valides. Plus le plan stratégique est reconduit, moins il est connecté à la réalité et aux besoins de la population et moins il est pertinent.

n La reconduction d’un plan stratégique après son expiration brouille les cartes en matière d’imputabilité de résultats, puisque le ministère se donne une année (ou plus) pour atteindre les objectifs qu’il devait déjà avoir atteints.

n Son absence tend à indiquer le peu d’importance que le ministère accorde à la LAP, puisqu’un plan stratégique à jour est une obligation de la LAP.

»«Les douze derniers mois ont été fastes en matière

de production de nouveaux plans stratégiques.

Pas moins de onze ministères sur dix-neuf ont fait

l’exercice. Bien que les ministères aient maintenant

régularisé leur situation envers les exigences de la LAP,

les résultats du Bulletin 2018 reflètent leur situation

en 2016-17, l’année de référence, et non leur

situation actuelle.

20

Ana

lyse

du

plan

str

atég

ique

201

2-17

L’absence de cibles chez plusieurs ministères est une autre des grandes découvertes de l’analyse des indicateurs du plan stratégique. En effet, selon l’article 9.4 de la LAP, « Un plan stratégique doit comporter les résultats visés au terme de la période couverte par le plan. » En conséquence, chaque indicateur des plans stratégiques devrait avoir une cible.

Lors du Bulletin 2017, les 13 ministères à l’étude représentaient un total de 402 indicateurs, dont 115 (21 %) n’avaient pas de cibles. Cette année, les 19 ministères à l’étude représentent un total de 586 indicateurs, dont 72 (11 %) n’ont pas de cibles. C’est donc dire que seulement 89 % des indicateurs respectent les exigences de la LAP. Voici une ventilation plus précise des indicateurs sans cibles par ministères.

Tableau 5- Nombre d'indicateurs sans cibles dans les plans stratégiques les plus récents des ministères du Québec

Ministères # ind sans cibles # indic total  % indicateurs sans cibles

Finance 1 17 n  6 %

Education 11 95 n  12 %

Sante 0 50 n  0 %

Travail 0 17 n  0 %

Culture 0 15 n  0 %

Famille 1 26 n  4 %

Rel. Int & Franco 0 18 n  0 %

Conseil Executif 10 17 n 59 %

Conseil du Trésor 2 23 n  9 %

Forest, Faune & Parc 5 36 n  14 %

Tourisme 2 11 n  18 %

Justice 16 26 n 62 %

Economie 0 32 n  0 %

Immigration 4 26 n  15 %

Sécurité Pub. 6 44 n  14 %

Environnem. 13 52 n 25 %

Energie & RN 1 12 n  8 %

MAPAQ 0 29 n  0 %

Transport 0 40 n  0 %

Total 72 581 11 %

Légende ( % indic sans cible vs total indic) n  <5 % n    6 %< x <20 % n   x > 20 %

La ventilation continue de démontrer la variabilité dans l’implantation de la gestion axée sur les résultats dans l’appareil admi-nistratif. Si plusieurs ministères s’astreignent à des cibles comme l’exige la LAP, certains autres, le ministère de la Justice en tête, refusent de se rendre imputable à la population en négligeant de prendre des engagements chiffrés ou en choisissant des cibles vagues qui n’ont aucune valeur.

Bien que la proportion des indicateurs sans cibles se soit considérablement améliorée depuis l’année dernière, il n’en reste pas moins que 11 % de l’ensemble des efforts stratégiques des ministères, incluant les sommes investies, sont effectués sans but précis. C’est 11 % de trop, et la population ne manquera pas de poser des questions.

L’absence de cible sera abordée en détail au moment de juger de l’atteinte des résultats respectifs des ministères. Il suffit donc de souligner à ce point l’importance de l’accroc au respect des demandes de la LAP par plusieurs ministères quant aux cibles.

21

Ana

lyse

du

plan

str

atég

ique

201

2-17

La pondérationUn ministère qui possède une planification stratégique à jour, pluriannuelle, avec une combinaison d’indicateurs et de cibles ainsi que des résultats récents obtient la note verte et la pondération qui s’y rattache au classement des ministères.

Un ministère qui possède une planification stratégique à jour, mais qui échoue au critère des cibles ou de l’information récente obtient la note jaune et la pondération qui s’y rattache au classement des ministères.

Un ministère qui ne possède pas de planification stratégique à jour obtient la note rouge et la pondération qui s’y rattache au classement des ministères, peu importe si les autres composantes du plan stratégique sont respectées.

La reddition de compte de la LAPComme indiqué dans l’introduction, les analyses sur la reddition de compte ont été abandonnées dans cette édition du Bulletin 2018 en faveur de l’ajout de l’ensemble des ministères du Québec.

Il est important de noter que la reddition de compte ne faisait pas partie des critères de pondération des ministères dans le Bulletin 2017. En effet, on ne peut mettre le blâme sur les ministères si le processus de reddition de compte et de contrôle de la LAP est déficient.

Dans le Bulletin 2017, la reddition de compte a été introduite dans le rapport pour donner du contexte au lecteur et tenter d’ex-pliquer les piètres résultats des ministères.

Puisque peu de choses ont changé entre le premier Bulletin et le second en matière de reddition de compte et de contrôle, il semblait inutile de revenir sur ce sujet. Les critiques formulées dans le Bulletin 2017 restent sensiblement inchangées en 2018 et le lecteur peut s’y référer pour une explication complète.

Il faut toutefois souligner les efforts du ministère du Conseil du trésor pour faire respecter les obligations de la LAP. Nous voyons dans les onze nouveaux plans stratégiques publiés dans les douze derniers mois la somme de ses efforts.

De plus, le Conseil du trésor a resserré les contrôles dans la revue des premières moutures des plans stratégiques pour tenter d’introduire plus d’indicateurs de résultats possédant des cibles chiffrées. Malheureusement, les déficiences relevées dans les résultats présentés dans ce Bulletin, comprenant l’analyse des tout nouveaux plans stratégiques ministériels, démontrent les limites de l’approche du Conseil du trésor à ce sujet.

De son côté, la CAP continue son excellent travail, mais ne compte toujours pas les moyens nécessaires pour faire respecter ses demandes et recommandations.

Toute cette situation revient à un seul facteur – le choix des indicateurs est un choix politique; ultimement, chaque ministère est responsable de ses indicateurs. Le ministère du Conseil du trésor peut bien conseiller, mais ne peut décider des indicateurs que les autres ministères devraient suivre.

Aussi longtemps que le Conseil du trésor ou le Conseil exécutif refuseront de prendre la responsabilité, pour le bien du public, d’imposer aux ministères des indicateurs qui mènent à des résultats significatifs pour la population du Québec, ceux-ci pourront continuer impunément de trahir l’esprit et la lettre de la LAP et de se soustraire à ses objectifs d’imputabilité, de transparence et de résultat.

22

Ana

lyse

du

plan

str

atég

ique

201

2-17

»«Cette année, les 19 ministères à l’étude représentent

un total de 586 indicateurs, dont 72 (11 %) n’ont pas

de cibles. C’est donc dire que seulement 89 % des

indicateurs respectent les exigences de la LAP.

23

Ana

lyse

du

plan

str

atég

ique

201

2-17

CONCLUSION

de la deuxième partie

L’édition 2017 du Bulletin concluait à de sérieuses lacunes dans le taux de conformité de plusieurs ministères aux plus simples obligations de la Loi sur l’administration publique, particulièrement en matière de plans stratégiques échus et d’indicateurs sans cible. En 2017, ces derniers représentaient 22 % de l’ensemble des indicateurs. En 2018, c’est 11 % seulement, une amélioration à noter.

D’ailleurs, le rapport 2017 semble avoir eu un impact positif sur le respect des obligations légales de la LAP par les ministères. Sous l’impulsion du Conseil du trésor, onze nouveaux plans stratégiques ont été déposés dans la dernière année. En date de la parution du rapport, tous les ministères avaient un plan stratégique à jour. C’est un timide début.

On doit souligner ces timides avancées, mais elles offrent peu de raisons de célébrer. Globalement, il reste encore onze pourcent des indicateurs qui possèdent des cibles tellement déficientes qu’elles ne veulent rien dire. Les nouveaux plans stratégiques du Conseil exécutif, de l’Environnement et de l’Éducation en contiennent respectivement 59 %, 25 % et 12 %, une situation inexplicable. Ces plans sont maintenant en vigueur pour les trois à cinq prochaines années et ils sont rarement modifiés une fois déposés. Le ministère de la Justice n’a rien changé à son plan stratégique malgré des lacunes évidentes mises en lumière dans l’édition précédente du rapport. Son plan stratégique possède toujours 62 % de cibles qui ne veulent rien dire et le ministère ne semble pas s’en formaliser.

Considérant que le respect des obligations légales est l’absolu minimum pour espérer l’atteinte de résultats significatifs pour la population, on est encore loin de la coupe aux lèvres alors qu’il connait encore des ratés dans plusieurs ministères.

24

Ana

lyse

du

plan

str

atég

ique

201

2-17

25

Ana

lyse

du

plan

str

atég

ique

201

2-17

Atteinte des objectifs de la LAP

IntroductionComme expliqués plus haut, les grands objectifs de la Loi sont de forcer un changement de philosophie dans l’appareil gouver-nemental afin de favoriser la transparence, l’imputabilité et, ultimement, l’obtention de résultat. n En démontrant l’état de la situation à travers des indicateurs fiables et réalistes, la LAP vise la transparence, mais constitue

aussi une véritable base d’amélioration ;

– Si l’indicateur est un baromètre fiable d’une réalité, l’amélioration de celui-ci démontrera avec certitude l’amélioration de la réalité,

n En exigeant d’inclure dans un plan stratégique pluriannuel des actions susceptibles d’influencer les indicateurs et des cibles mesurables, la LAP force l’imputabilité et l’action ;

n Des indicateurs, un plan, des cibles et une reddition de compte publique devraient normalement apporter l’amélioration tangible d’une réalité ;

– S’il n’y a pas d’amélioration tangible, l’échec du plan est constaté de façon transparente et un nouveau plan est formulé pour atteindre la cible recherchée,

n Finalement, bien que sous-entendue, une adéquation entre les indicateurs choisis et la mission fondamentale du ministère en question doit exister.

Le succès et la pertinence de la gestion par résultat reposent sur la qualité des indicateurs. L’indicateur doit être lié à la mission du ministère, doit faire référence à des résultats, doit être de qualité et posséder une cible de qualité. L’échec d’un seul de ces critères rend inatteignables les objectifs de la gestion par résultats.

La deuxième partie de l’étude vise à analyser la qualité des indicateurs présentés dans les différents plans stratégiques pour évaluer s’ils respectent l’esprit de la Loi. En premier lieu, nous présentons une définition du terme « indicateur » ainsi que la méthodologie choisie pour évaluer sa qualité.

Par la suite, l’analyse se porte sur la notion de présence de cibles annuelles ou intermédiaires. Enfin, nous présentons le portrait des types d’indicateurs présents dans les rapports stratégiques. Finalement, nous utilisons la grille SMARTER pour évaluer la qualité de chaque indicateur et des cibles.

TROISIÈME PARTIE

26

Ana

lyse

du

plan

str

atég

ique

201

2-17

Indicateurs — définition et catégorisationD’abord et avant tout, il est primordial de définir ce qu’est un indicateur de performance. Il existe un nombre incalculable de variations dans la définition de ce terme, mais par souci de cohérence avec le sujet traité, nous retiendrons celle du Conseil du trésor.

L’indicateur est une information ou une mesure qui permet de juger des progrès accomplis en vue de l’atteinte de l’objectif. Il illustre concrètement, en tout ou en partie, le résultat, le phénomène ou l’objet qu’on veut mesurer.

Généralement, un énoncé de l’indicateur contient sa cible. Par exemple, « Atteindre une marge de profit par unité de 17 % » est un indicateur qui contient aussi l’objectif que la compagnie cherche à atteindre.

Les ministères ont choisi, de leur côté, de faire des énoncés d’indicateurs qui ne contiennent pas de cible et d’indiquer la cible séparément, comme dans cet exemple du rapport de gestion du ministère de la Santé 2015-16.

Indicateur Résultat 2015-2016 Cible

Proportion de fumeurs actuels de 12 ans ou plus 21 %1 16

Ce n’est ni bon, ni mauvais, mais cela oblige l’auteur de la recherche à évaluer la combinaison de l’énoncé et de la cible et non simplement celle de l’énoncé de l’indicateur. C’est-à-dire que pour qu’un indicateur soit considéré comme pertinent, l’ensemble de son énoncé et de sa cible doit être de qualité. Pour simplifier l’écriture, le terme indicateur dans la suite du texte référera donc toujours à cette combinaison de l’énoncé et de la cible de l’indicateur.

L’indicateur est une mesure d’une réalité ou d’un phénomène concret. Dans son glossaire des indicateurs, le Conseil du trésor indique quatre types d’indicateurs.n Intrants — Indicateurs qui illustrent la capacité de l’organisation à commettre assez de ressources pour atteindre l’objectif

– Exemple — 10 procureurs par tranche de 100 000 habitants

– Exemple — 10 millions de dollars de budget par tranche de 100 000 habitantsn Extrants — Indicateurs qui illustrent la capacité de l’organisation à obtenir un résultat avec les ressources engagées

– Exemple — 10 procès complétés par procureurs par annéen Activités — Indicateurs qui illustrent la capacité de l’organisation à compléter les activités/projets/stratégies internes reliés à

l’objectif

– Compléter quatre projets d’améliorations continues par an n Effets — Impacts — Indicateurs qui sont la finalité de la philosophie de la gestion par résultat. Ce sont les indicateurs qui

démontrent qu’un impact réel a eu lieu dans le domaine financier, social, économique, environnemental ou dans la perception de la population

– Taux de tabagisme chez les jeunes de moins de 18 ans

– Taux d’emploi chez les immigrants 18-55 ans

Dans le monde des affaires, on réduit simplement cette catégorisation à deux types d’indicateurs : n Processus, qui regroupe Intrants et Activitésn Résultat, qui regroupe Extrants et Effets-Impacts

27

Ana

lyse

du

plan

str

atég

ique

201

2-17

Il est fondamental de comprendre qu’un indicateur de processus ne garantit en rien le résultat. C’est pourquoi on leur privilégie fortement les indicateurs de résultats dans la gestion par résultat, dans une proportion de 80 % — 20 %.

Pour être bien clair, le fait d’embaucher de nouvelles ressources, de commettre plus de budget, de voter un projet de loi et de l’appliquer ou de réaliser des actions d’un plan d’action et de produire un certain volume d’actions administratives ne garantit en rien l’atteinte d’une des missions d’un ministère. Ce sont tous des indicateurs du processus, des efforts déployés par un ministère dans l’atteinte de l’objectif, mais n’indiquent en rien le résultat final.

En fait, il faut même se méfier des indicateurs d’extrants. Souvent, ceux-ci manquent de relativité par rapport au contexte, ce qui nous empêche d’en mesurer l’impact. Pour reprendre l’exemple plus haut de l’indicateur d’extrant, l’augmentation de 10 % du nombre de procès complétés par procureur par année pourrait donner une fausse indication positive sur le délai d’accès à la justice. En effet, cette hausse pourrait facilement être contrecarrée par une hausse du volume de cas égale ou supérieure dans le système de justice. C’est pourquoi un indicateur d’effet-impact comme « nombres de semaines avant la tenue d’un procès » est un bien meilleur choix pour faire la démonstration à la population de l’atteinte de la mission du ministère de la Justice. Cela dit, pour les besoins de cette étude, les indicateurs d’extrants ont été recensés comme résultats. Des itérations futures de cette analyse verront s’il y a un avantage supplémentaire à les séparer.

Si la LAP est réellement adoptée par les entités gouvernementales, l’étude des indicateurs devrait démontrer une prépondérance significative (80 %) d’indicateurs de résultats par rapport aux indicateurs de processus.

»«Si la LAP est réellement adoptée par les entités

gouvernementales, l’étude des indicateurs devrait démontrer

une prépondérance significative (80 %) d’indicateurs de

résultats par rapport aux indicateurs de processus.

28

Ana

lyse

du

plan

str

atég

ique

201

2-17

Méthodologie d’analyse et de pondération de la qualité des indicateursIl y a un large consensus sur l’utilisation de la grille d’analyse SMART ou SMARTER pour évaluer la qualité d’un indicateur. Cette grille a connu plusieurs itérations depuis sa proposition par George Duran en 1981, mais reste encore la plus pertinente pour évaluer la qualité des indicateurs du gouvernement.

La grille SMARTER a été appliquée à chacun des indicateurs et des cibles des rapports de gestion de chacun des 13 ministères pour les cinq dernières années, souvent couvrant plus d’un plan stratégique. Vous retrouverez une description détaillée de la méthode SMARTER à l’Annexe 2.

La pondération finale dépend de la combinaison de la pondération donnée à l’indicateur et de celle donnée à sa cible. Les tableaux suivants résument la logique de pondération. Vous trouverez une explication complète de celle-ci à l’Annexe 3

Section 2 Méthode – Évaluation des indicateurs du gouvernementNotation de l'indicateur

Éléments SMARTER Acronyme Note attribué à l'indicateur si élément manque

Spécifique S n  Jaune

Mesurable M n  Rouge

Atteignable A N/A

Relevant (Pertinent) Rel n  Jaune

Temps T n  Jaune

Explicable E n  Jaune

Relatif R n  Jaune

*** Par souci d’objectivité, A, Rel & E ont très rarement été utilisés***

Notation de la cible

Élément de la cible Acronyme Note attribué à la cible si élément manque

Présence (absence) A n  Rouge

Mesurable M n  Rouge

Spécifique S n  Rouge

Absolu / fini F n  Jaune

Date / Projet P n  Rouge

Note Globale combinée indicateur + cible

Indicateur Cible Note globale

n  Vert n  Vert n  Vert

n  Vert n  Jaune n  Jaune

n  Vert n  Rouge n  Rouge

n  Jaune n  Vert n  Jaune

n  Jaune n  Jaune n  Jaune

n  Jaune n  Rouge n  Rouge

n  Rouge n  Vert n  Rouge

n  Rouge n  Jaune n  Rouge

n  Rouge n  Rouge n  Rouge

29

Ana

lyse

du

plan

str

atég

ique

201

2-17

Cibles annuelles/intermédiairesComme mentionné dans l’introduction, le critère du taux d’adéquation entre la mission et les choix d’indicateurs des ministères du Bulletin 2017 a été remplacé par celui de la présence de cibles annuelles ou intermédiaires dans les plans stratégiques pluriannuels.

Il est important de noter que l’auteur considère toujours l’adéquation entre la mission et les indicateurs choisis comme primor-diale. En effet, des indicateurs parfaits qui ne portent en rien sur les domaines d’interventions du ministère ne mèneront pas plus à des résultats significatifs pour la population du Québec.

En fait, il considère cette adéquation tellement importante qu’il est insatisfait de la place relativement mineure accordée à cette question dans ce rapport ainsi que de la méthode trop rudimentaire pour son analyse. Cette question et son corollaire, celle des volontés de la population, prendront une place plus importante dans les prochaines itérations du Bulletin ou seront le sujet d’un rapport futur.

Le critère a donc été remplacé par celui de la présence de cibles intermédiaires ou annuelles. Dans ses rapports sur l’imputabi-lité, la CAP a souvent fait la demande aux différents ministères de présenter des cibles intermédiaires (lire annuelles). En effet, sans cibles intermédiaires, il est fort complexe de démontrer la progression vers les cibles puisqu’un plan stratégique couvre en moyenne trois à cinq ans.

La présence de cibles intermédiaires dans un plan couvrant de multiples années est considérée comme une meilleure pratique. En premier lieu, elle force une démarche de planification concrète de la part du ministère, puisqu’il doit maintenant atteindre des cibles annuellement. En second lieu, elle permet aux ministères d’être proactifs et de corriger le tir lorsqu’une cible intermédiaire n’est pas atteinte plutôt que d’attendre la fin du plan stratégique et constater un échec.

Finalement, la présence de cibles annuelles est fondamentale pour la question de transparence et d’imputabilité. En leur absence, il est impossible de juger des progrès d’un ministère avant la fin de son plan. D’ailleurs, la présence de cibles intermédiaires a grandement facilité l’analyse de l’atteinte des résultats pour l’année de référence pour les ministères en possédant.

Tableau 6 - Présence de cibles annualisées dans les plans stratégiques multi-annuels des ministères (plans stratégiques les plus récents)

Ministères Présence de cibles annuelles dans les plans stratégiques

Finance n  3Education n  3Sante n  0Travail n  0Culture n  0Famille n  5Rel. Int & Franco n  5Conseil Executif n  0Conseil du Trésor n  5Forest, Faune & Parc n  0Tourisme n  5Justice n  3Economie n  5Immigration n  5Sécurité Pub. n  3Environnem. n  0Energie & RN n  5MAPAQ n  5Transport n  5

Légende n    En règle n    Passable n    Déficient

30

Ana

lyse

du

plan

str

atég

ique

201

2-17

On peut départager les ministères à l’étude en trois grands groupes. La moitié des ministères (9 sur 18) ont pleinement adopté les recommandations de la CAP et possèdent des cibles annualisées dans leur rapport stratégique.

Suit ensuite un groupe de ministères (4 sur 18) qui possèdent des cibles intermédiaires sur certains indicateurs seulement. Bien qu’il soit préférable d’avoir certaines cibles annuelles qu’aucunes, le choix des indicateurs ayant des cibles intermédiaires semble souvent aléatoire et l’ensemble manque de cohérence.

Finalement, un groupe de six ministères, dont la Santé, n’ont aucune cible annuelle dans leur plan stratégique. C’est un grave déficit d’imputabilité puisque ces ministères peuvent se permettre de rester vagues sur la progression annuelle de l’atteinte des cibles en indiquant qu’ils disposent encore de plusieurs années pour atteindre les cibles finales du plan stratégique. La population n’obtient donc qu’une idée floue lorsqu’elle tente de mesurer la performance de l’appareil administratif du ministère en question. Cette situation, particulièrement pour un ministère aussi important que celui de la Santé, s’avère tout simplement incompatible avec les principes de la gestion par résultats et doit être corrigée le plus rapidement possible.

La pondérationBien que les couleurs soient utilisées pour donner aux lecteurs une indication rapide de la performance des ministères au sujet de la présence de cibles annuelles, c’est le résultat chiffré qui sera utilisé pour donner la pondération finale au classement des ministères pour cette analyse et toutes les analyses de la troisième partie. Pour référence rapide : n La note verte est décernée lorsque l’ensemble des cibles du plan stratégique d’un ministère possèdent des cibles annuelles. n La note jaune est décernée lorsque certaines cibles du plan stratégique d’un ministère possèdent des cibles annuelles.n La note rouge est décernée lorsque les plans stratégiques des ministères ne possèdent aucune cible annuelle.

»«Finalement, un groupe de six ministères, dont la Santé,

n’ont aucune cible annuelle dans leur plan stratégique.

C’est un grave déficit d’imputabilité puisque ces ministères

peuvent se permettre de rester vagues sur la progression

annuelle de l’atteinte des cibles en indiquant qu’ils

disposent encore de plusieurs années pour atteindre

les cibles finales du plan stratégique.

31

Ana

lyse

du

plan

str

atég

ique

201

2-17

Types d’indicateurs choisis dans les rapports stratégiquesComme présenté plus haut, l’ensemble de la philosophie de gestion par résultat repose sur la qualité et le type d’indicateurs choisis. Pour atteindre les objectifs de la LAP, les indicateurs doivent être en grande majorité des indicateurs de résultats et s’avérer être de bonne qualité lorsqu’évalués dans le cadre de la grille SMARTER. En l’absence de même un seul de ces critères de succès, l’information offerte dans les rapports de gestion devient sans intérêt ; une prévalence d’indicateurs d’efforts irait à l’encontre de la livraison de résultats et de l’imputabilité, alors qu’une piètre qualité d’indicateur rendrait l’information offerte caduque, quelle qu’elle soit.

Dans un premier lieu, nous allons analyser la prévalence du type d’indicateurs pour ensuite nous attarder à leur qualité.

70 %

60 %

50 %

40 %

30 %

20 %

10 %

0 %Résultats Processus

(effort)

38 %

62 %

n  Résultats n  Processus (efforts)

Tableau 7 - Répartition cumulative du type d’indicateurs pour l’ensemble des ministères (plans stratégiques les plus récents)

Le tableau présente le sommaire de la proportion des types d’indicateurs des plans stratégiques les plus récents des ministères. Ceci inclut les 11 nouveaux plans stratégiques déposés durant les derniers mois et couvre les 19 ministères à l’étude pour un total de 581 indicateurs.

Ce tableau confirme que les ministères n’ont toujours pas intégré la philosophie de gestion par résultat et des objectifs de la LAP. La proportion d’indicateurs de résultats est bien trop faible par rapport aux indicateurs de processus. Comme indiqué plus haut, une répartition acceptable selon les meilleures pratiques requiert un minimum de 80 % d’indicateurs de résultats, alors qu’on n’en retrouve en moyenne que 38 % parmi les ministères à l’étude.

En fait, ce chiffre est même une détérioration vis-à-vis les résultats du Bulletin 2017, où l’on retrouvait 46 % d’indicateurs de résultats. Il faut toutefois faire attention à la comparaison, puisque 6 nouveaux ministères font partie de l’analyse.

Ceci dit, que 62 % des indicateurs portent sur la mesure des efforts de l’appareil administratif plutôt que sur les résultats obtenus avec ces efforts est inacceptable pour une population qui désire des résultats significatifs. Ce chiffre est particulière-ment inquiétant dans le contexte du renouvellement de plus de la moitié des plans stratégiques des ministères pour les 3 à 5 prochaines années. Comme les modifications aux plans stratégiques après leur dépôt sont quasi-inexistantes, c’est non seule-ment une occasion ratée d’amélioration, mais aussi un déficit d’imputabilité, de transparence et de résultats que la population du Québec devra encore tolérer pendant plusieurs années.

32

Ana

lyse

du

plan

str

atég

ique

201

2-17

Nous pouvons d’ores et déjà statuer que le gouvernement ne respecte pas la philosophie sous-jacente à la LAP et ne peut prétendre avoir implanté une gestion par résultats lorsque plus du deux tiers des indicateurs des plans stratégiques portent sur les efforts.

Il reste maintenant à ventiler cette information par ministères pour évaluer la performance individuelle à ce critère.

Tableau 8 - Répartition des types d'indicateurs par ministères, (plans stratégiques les plus récents)

Ministères Indicateurs de processus

Indicateurs de résultats total  % de résultats

Sante 11 39 50 78 %

Transport 10 30 40 75 %

MAPAQ 8 21 29 72 %

Travail 7 10 17 59 %

Immigration 12 14 26 54 %

Conseil du Trésor 12 11 23 48 %

Sécurité Pub. 21 18 39 46 %

Finance 10 7 17 41 %

Education 63 32 95 34 %

Economie 23 9 32 28 %

Energie & RN 9 3 12 25 %

Forest, Faune & Parc 28 8 36 22 %

Environnem. 41 11 52 21 %

Justice 22 4 26 15 %

Conseil Executif 15 2 17 12 %

Tourisme 10 1 11 9 %

Famille 24 2 26 8 %

Culture 15 0 15 0 %

Rel. Int & Franco 18 0 18 0 %

Total 359 222 581 38 %

Légende n    >70 % n    70 %> X > 50 % n    50 %>

n    En règle n    Passable n    Déficient

La ventilation des types d’indicateurs des plans stratégiques brosse un portrait fort différent de celui des résultats agrégés. Bien qu’aucun des ministères n’atteigne le 80 % d’indicateurs de résultats, un petit groupe mené par la Santé et incluant le MAPAQ et le Transport démontre qu’il est possible d’avoir une prépondérance d’indicateurs de résultats. C’est grâce à ces ministères que la moyenne du groupe passe le seuil des 33 %.

De l’autre côté du spectre, il y a une portion alarmante de ministères qui ont moins de 50 % d’indicateurs de résultats. On note particulièrement la Justice, le Conseil exécutif, le Tourisme, la Famille et la Culture qui ont tous moins de 15 % d’indicateurs de résultats.

Cette très faible proportion (26 %) de ministères ayant plus de 50 % d’indicateurs de résultats démontre hors de tout doute que l’appareil administratif de l’État québécois n’a toujours pas intégré les notions de gestion axée sur le résultat et que toute prétention du contraire est infondée. En effet, la proportion d’indicateurs de résultats reste particulièrement inadéquate dans le cadre d’une gestion par résultats pour la majorité des ministères à l’étude.

Ce portait aurait pu être justifiable quelques années après l’implantation de la LAP, mais il est particulièrement alarmant 18 ans plus tard. On ne peut tirer qu’un seul constat du choix des types d’indicateurs par les ministères ; dans 14 ministères sur 19, l’implantation de la LAP et son objectif de résultat sont un échec. En effet, sans indicateurs de résultats, pas de gestion par résultats. Pas de gestion axée sur les résultats, pas de résultats significatifs pour la population du Québec.

33

Ana

lyse

du

plan

str

atég

ique

201

2-17

La pondérationBien que les couleurs soient utilisées pour donner une indication rapide aux lecteurs de la performance des ministères au sujet du type d’indicateurs sélectionnés dans leur plan stratégique en cours, c’est le résultat chiffré qui sera utilisé pour donner la pondération finale au classement des ministères pour cette analyse et toutes les analyses de la troisième partie. Toutefois, pour référence rapide : n La note verte est décernée lorsque plus de 70 % des indicateurs d’un ministère sont des indicateurs de résultats dans leur

plan stratégique en cours.n La note jaune est décernée lorsqu’entre 50 % et 70 % des indicateurs d’un ministère sont des indicateurs de résultats dans

leur plan stratégique en cours.n La note rouge est décernée lorsque moins de 50 % des indicateurs d’un ministère sont des indicateurs de résultats dans leur

plan stratégique en cours.

Qualité des indicateursLes résultats de l’analyse de types d’indicateurs confirment la tendance identifiée dans le Bulletin 2017 et permettent de douter fortement de l’implantation de la philosophie de gestion par résultat dans au moins 14 des 19 ministères.

Toutefois, il est important de compléter le portrait en effectuant l’analyse de la qualité des indicateurs. En effet, celle-ci peut venir mitiger les résultats de la précédente analyse ou confirmer la direction générale qui a été identifiée l’année passée.

Comme expliqué plus haut, le cadre d’analyse SMARTER a été appliqué aux 581 indicateurs à l’étude. Chaque indicateur s’est vu attribuer une note ;n Vert — l’indicateur respecte de façon générale la grille SMARTER et la cible est clairement énoncée.n Jaune — l’indicateur respecte partiellement la grille SMARTER ou la cible est partiellement énoncée.

– Un indicateur jaune pourrait être amélioré de façon importante, mais est quand même considéré comme passable.n Rouge — l’indicateur ne respecte pas la grille SMARTER ou il n’y a pas de cible

– Un indicateur rouge est simplement inacceptable et n’a aucune valeur vis-à-vis de l’esprit de la LAP et pour la population.

Pour une explication plus détaillée de la méthodologie et de son application, veuillez consulter tCette année, pour diminuer la taille du rapport, les résultats de l’analyse individuelle des indicateurs seront disponibles sur demande.

Le tableau 9 présente la répartition cumulative globale de la qualité des indicateurs, tous ministères et plans stratégiques confondus.

Les résultats globaux de la qualité des indicateurs sont tout aussi préoccupants que nos constats sur les types d’indicateurs choisis et n’ont connu aucune amélioration suite aux constats de l’année passée, malgré l’introduction de onze nouveaux plans stratégiques. Tel que le démontre le graphique, seulement 34 % des combinaisons indicateurs/cibles remplissent les critères de la grille d’analyse SMARTER et peuvent donc être considérés comme pleinement viables. Ce chiffre était de 36 % dans le précédent Bulletin.

Tableau 9 - Répartition cumulative de la qualité des indicateurs pour l’ensemble des ministères (plans stratégiques les plus récents)35 %

34 %

33 %

32 %

31 %

30 %RougeVert

34 %

35 %

32 %

Jaune

67 % des indicateurs sont partiellement ou complètement déficients

34

Ana

lyse

du

plan

str

atég

ique

201

2-17

C’est donc dire que plus du deux tiers des indicateurs choisis par les ministères sont partiellement ou complètement déficients en matière de qualité.

De l’autre côté du spectre, 32 % des combinaisons d’indicateurs/cibles sont tellement déficientes sur le plan des critères de la grille d’analyse SMARTER qu’elles ne peuvent être considérées comme pertinentes. Avec seulement 38 % d’indicateurs de résultats et seulement 34 % d’indicateurs pleinement viable en matière de qualité, la population du Québec n’a plus à chercher trop loin pour comprendre pourquoi les résultats significatifs se font toujours attendre.

Bien que tout à fait alarmante en elle-même, cette proportion se doit d’être ventilée pour voir comment elle se détaille par ministères.

Tableau 10 - Répartition de la qualité des indicateurs & cibles par ministères et par plans stratégiques (plans stratégiques les plus récents)

Ministères vert jaune Rouge total  % cumul d'indicateurs verts et jaunes

Sante 34 16 0 50 n  100 % 68 %

Travail 17 0 0 17 n  100 % 100 %

MAPAQ 12 17 0 29 n  100 % 41 %

Economie 9 21 1 31 n  97 % 29 %

Culture 2 11 2 15 n  87 % 13 %

Transport 16 18 6 40 n  85 % 40 %

Rel. Int & Franco 7 8 3 18 n  83 % 39 %

Energie & RN 4 6 2 12 n  83 % 33 %

Sécurité Pub. 11 23 8 42 n  81 % 26 %

Finance 6 7 4 17 n  76 % 35 %

Conseil du Trésor 14 3 6 23 n  74 % 61 %

Immigration 11 8 7 26 n  73 % 42 %

Tourisme 4 3 4 11 n  64 % 36 %

Forest, Faune & Parc 8 14 14 36 n  61 % 22 %

Famille 9 6 11 26 n  58 % 35 %

Education 20 27 47 94 n  50 % 21 %

Conseil Executif 2 4 11 17 n  35 % 12 %

Environnem. 8 6 37 51 n  27 % 16 %

Justice 2 3 21 26 n  19 % 8 %

Total 196 201 184 581 n  68 % 34 %

Légende n    V+J > 85 % n    85 %>V+J>60 % n    60 %> V+J

Malgré l’introduction de six nouveaux ministères et de onze nouveaux plans stratégiques pendant les douze derniers mois, le portrait de 2018 en matière de qualité d’indicateurs est relativement similaire à 2017. Les trois mêmes ministères, la Santé, le Travail et le MAPAQ, sortent encore du lot quant à la qualité de la combinaison de leurs indicateurs et de leurs cibles respectives avec absence d’indicateurs rouges.

Ces ministères prouvent ainsi non seulement qu’il est possible d’avoir un maximum d’indicateurs de résultats, mais aussi que ceux-ci soient d’une qualité gage d’un véritable changement une fois atteints. Ces résultats viennent confirmer que la LAP est bien implantée dans ces ministères.

Suivent ensuite trois autres ministères qui ont une combinaison raisonnable d’indicateurs jaunes et verts, l’Économie, la Culture et le Transport. De ces trois ministères, le ministère du Transport mérite aussi une mention honorable pour avoir 75 % d’indica-

35

Ana

lyse

du

plan

str

atég

ique

201

2-17

teurs de résultats et 85 % d’indicateurs raisonnables ou mieux en matière de qualité. Les plans des deux premiers ministères portent particulièrement sur leurs efforts, mais au moins les indicateurs qui mesurent ceux-ci sont de bonne qualité.

Le portrait est beaucoup plus préoccupant lorsque l’on regarde les cinq derniers ministères — et pas les moindres —, pour lesquels la proportion de combinaison indicateurs/cibles de piètre qualité est à des niveaux inédits. Les ministères de l’Éduca-tion, de la Famille, du Conseil exécutif et de l’Environnement viennent ont tous produit un nouveau plan stratégique dans les six derniers mois. Qu’ils présentent tous des combinaisons d’indicateurs et de cibles aussi médiocres dépasse l’entendement. La Justice, de son côté, n’a pas cru nécessaire de faire des changements à son plan stratégique malgré les déficiences évidentes soulevées dans le Bulletin 2017. Ce refus de changer même devant l’évidence ne présage rien de très bon quant aux services fournis par la Justice à la population du Québec pour les prochaines années. Pour ces cinq ministères, le fait que 40 % et plus de leurs combinaisons indicateurs/cibles soient déficients au point d’être vidées de tout sens jette un sérieux doute sur la perti-nence de leur plan stratégique.

La critique est particulièrement méritée pour ces cinq ministères délinquants puisque l’interprétation des résultats verse déjà dans l’indulgence en cumulant les indicateurs en règle (verts) et les indicateurs passables (jaunes). S’il avait fallu tenir compte seulement des indicateurs en règle, le portrait de l’ensemble des ministères serait beaucoup plus sombre, avec seulement les ministres de la Santé, du Travail et du Conseil du trésor présentant plus de 60 % des indicateurs en règle. L’ensemble des seize autres ministères se trouverait dans le rouge.

De façon globale, la qualité des indicateurs n’est pas plus au rendez-vous qu’en 2017, même avec une interprétation généreuse. Si l’on accepte que 68 % des combinaisons d’indicateurs et de cibles soient de qualité, c’est se résigner à ce que 32 % soient vides de sens pour la population du Québec. C’est immense. C’est un frein significatif pour l’atteinte de résultats significatifs pour les citoyens du Québec et c’est un déficit grave d’imputabilité et de transparence, deux valeurs pourtant prescrites par la LAP.

La pondérationBien que les couleurs soient utilisées pour donner une indication rapide aux lecteurs de la performance des ministères au sujet de la qualité des indicateurs proposés dans leur plan stratégique en cours, c’est le résultat chiffré qui sera utilisé pour donner la pondération finale au classement des ministères pour cette analyse et toutes les analyses de la troisième partie. Cela dit, pour référence rapide : n La note verte est décernée lorsque le cumul de la proportion de combinaisons des indicateurs et des cibles d’un ministère en

règle (vert) et passable (jaune) est égal ou supérieur à 85 %.n La note jaune est décernée lorsque le cumul de la proportion de combinaisons des indicateurs et des cibles d’un ministère en

règle (vert) et passable (jaune) se situe entre 60 % et 85 %.n La note rouge est décernée lorsque le cumul de la proportion de combinaisons des indicateurs et des cibles d’un ministère en

règle (vert) et passable (jaune) se situe sous la barre des 60 %.

36

Ana

lyse

du

plan

str

atég

ique

201

2-17

37

Ana

lyse

du

plan

str

atég

ique

201

2-17

Résultats du gouvernement

La dernière partie de l’analyse s’attarde au respect des engagements des ministères envers leur mission fondamentale telle qu’elle est inscrite dans les plans stratégiques. Malgré les constats présentés qui jettent une ombre sur la pertinence de ces résultats, leur analyse permet d’évaluer le taux de succès des ministères à leurs propres cibles, sans égards au type et à la qualité des indicateurs.

Pour cette partie de l’analyse, il importe de clarifier quelques points de méthodologie, laquelle diffère sensiblement du Bulletin de 2017. En effet, cette année, le Bulletin 2018 présente les résultats sur les plans stratégiques en cours (et non complétés) pour offrir à la population du Québec la version la plus à jour de la performance des ministères. n Les résultats présentés sont basés sur les données les plus récentes rendues disponibles par les ministères.

– Pour le Bulletin 2018, elles sont basées sur les rapports annuels de 2016-17 qui ont été rendus disponibles en octobre/novembre 2017. Les prochaines données qui couvrent l’année 2017-18 ne seront rendues disponibles qu’en octobre/novembre 2018.

n Les résultats présentés sont basés sur les plans stratégiques en cours pour l’année de référence 2016-17.n Les cibles intermédiaires ont servi de mesure pour les ministères les ayant introduits (13/19) dans leur plan stratégique. n Pour les ministères n’ayant pas fourni de cibles intermédiaires (6/19), une combinaison de deux méthodes a été utilisée : un

objectif proportionnel, et la tendance de la croissance.n – L’objectif final a été divisé par le nombre d’années du plan stratégique et a été utilisé comme cible cumulative. (Par exemple,

une cible qui devrait passer de 100 à 200 en 5 ans, devrait être à 120 à la fin de la première année, 140 à la fin de la deuxième, etc.)

– Si la cible intermédiaire proportionnelle n’est pas atteinte, mais qu’une croissance positive significative entre les plans laisse entrevoir que l’objectif final pourrait être atteint, l’indicateur a été considéré comme atteint.

Finalement, les deux points méthodologiques suivants sont les mêmes que pour le Bulletin de 2017 :n Un indicateur sera considéré comme atteint lorsque le résultat atteint sa cible ou lorsque les ministères indiquent « cible

atteinte », ou tout autre terme similaire, dans la section « résultat » de l’indicateur en question.n La qualité des indicateurs n’a pas été prise en compte, c’est-à-dire qu’un indicateur rouge selon les critères de la grille

SMARTER indiqué comme étant atteint par le gouvernement sera considéré comme tel ;

– Par contre, un indicateur qui n’avait pas de cible ne sera jamais considéré comme atteint, parce que sans engagement, le concept de l’atteinte d’une cible devient caduc.

QUATRIÈME PARTIE

38

Ana

lyse

du

plan

str

atég

ique

201

2-17

Un premier constat s’impose ; la performance de l’appareil gouvernemental dans l’atteinte des engagements qu’il s’est lui-même fixés est toujours aussi inadéquate. En effet, globalement, l’ensemble des ministères étudiés n’a pas atteint la moitié de ses cibles pour l’année 2016-17.

Ces chiffres sont conséquents avec le Bulletin 2017, qui concluait que pour les 13 ministères à l’étude, le taux d’atteinte des cibles dans ses plans stratégiques complétés s’élevait à 46 %.

C’est un chiffre famélique, surtout lorsque l’on sait que les cibles ont été fixées par les ministères eux-mêmes. Il confirme la tendance identifiée en 2017 et indique que l’administration peine à avoir un impact significatif dans la population qu’elle dessert. La conclusion de 2017 tient toujours : considérant l’effort financier et humain investis par les ministères, c’est un constat parti-culièrement préoccupant.

Des résultats aussi inadéquats forceraient un sérieux examen de conscience dans n’importe quelle organisation. Pourtant, les actions posées par l’appareil gouvernemental depuis la première parution du Bulletin semblent s’être concentrées du côté de la conformité à la LAP, et non dans l’amélioration de l’atteinte des cibles. Une discussion plus détaillée sur ce point prendra place dans la conclusion du rapport.

60 %

50 %

40 %

30 %

20 %

10 %

0 %Atteints Non Atteints

43 %

57 %

Tableau 11 - Taux d’atteinte cumulatif des indicateurs des ministères du Québec (rapports annuels 2016-17)

39

Ana

lyse

du

plan

str

atég

ique

201

2-17

Le tableau 12 nous présente la ventilation de l’atteinte des résultats par types d’indicateurs et par ministères et plans stratégiques.

Tableau 12 - Taux d'atteintes des cibles par ministères pour l'année de référence 2016-17 (rapport annuels 2016-17)

Ministères # cible atteintes # cibles non atteintes

Total indicateurs (cibles)

 % cibles atteintes Notes

Rel. Int & Franco 13 4 17 n  76 %

MAPAQ 19 10 29 n  66 %

Finance 8 5 13 n  62 %

Culture 11 7 18 n  61 %

Famille 16 14 30 n  53 %

Economie 16 15 31 n  52 %

Forest, Faune & Parc 18 18 36 n  50 %

Immigration 12 14 26 n  46 %

Conseil du Trésor 10 13 23 n  43 %

Justice 10 16 26 n  38 %

Sante 17 33 50 n  34 %

Sécurité Pub. 17 33 50 n  34 %

Transport 16 36 52 n  31 %

Travail 5 12 17 n  29 %

Energie & RN 5 21 26 n  19 %

Education 0 0 0 n  0 % A

Conseil Executif 0 0 0 n  0 % B

Tourisme 0 0 0 n  0 % A

Environnem. 0 0 0 n  0 % A

Total 193 251 444 43 %

Légende n    >70 % n    70 % > x > 60 % n    x < 59 %

n    En règle n    Passable n    Déficient

A = Absence de plan stratégique en vigeur pour l’année de référence la plus récente 2016-17

B = Absence totale de cibles dans le plan stratégique en vigueur pendant l’année 2016-17

Le ministère des Relations internationales, le MAPAQ ainsi que les Finances ont réussi à atteindre plus de 60 % de leurs cibles pour l’année 2016-17. Bien qu’en absolu cette note de 60 % ne soit considérée que comme une simple note de passage et rien pour pavoiser, la performance de ces trois ministères est spectaculaire lorsque comparée aux autres ministères du gouvernement.

Comme en 2017, il est important de noter qu’il n’y a pas nécessairement de relation entre la qualité d’application de la LAP dans un ministère et l’atteinte de ses cibles. C’est plutôt que les deux sont nécessaires si la population du Québec veut voir des résultats significatifs livrés par son appareil administratif.

40

Ana

lyse

du

plan

str

atég

ique

201

2-17

La qualité de l’implantation de la LAP garantit à la population que les résultats atteints ont un véritable impact et elle lui permet, en toute transparence, de juger de leurs performances. Le meilleur exemple est celui de la Santé, qui possède un excellent plan stratégique, mais qui peine à atteindre les cibles qu’il s’était fixées. C’est en phase avec la perception de la population.

L’implantation de la LAP est le point de départ de l’atteinte des résultats puisqu’elle encourage l’imputabilité en forçant les ministères à s’engager sur des résultats précis. Cela dit, la Loi en elle-même n’est pas garante de l’atteinte de la cible, seule-ment de sa présence. C’est au gouvernement et aux ministères d’évaluer les moyens présentement à leur disposition ainsi que la culture organisationnelle qui prévaut dans chaque ministère pour réaliser des améliorations significatives et atteindre ses cibles. Des éléments de solution comprennent entre autres la planification stratégique et budgétaire, un processus de gestion de projets rigoureux, une collecte et la disponibilité de données fiables et des outils de revue de processus d’affaires tels le LEAN et le Six Sigma.

»«Le portrait brossé par la troisième et la quatrième partie

du rapport démontre hors de tout doute que l’implantation

de la LAP et de ses principes de transparence, d’imputabilité

et de gestion axée sur le résultat est un échec dans les

ministères. C’est la seule conclusion possible.

41

Ana

lyse

du

plan

str

atég

ique

201

2-17

CONCLUSION

de la troisième et de la quatrième partie – De graves lacunes d’imputabilité, de transparence et dans la livraison des résultats.

Les résultats de 2018 ne diffèrent pas significativement de 2017, et par conséquent, les critiques formulées l’année précédente sont toujours d’actualité.

Si les ministères se sont ressaisis dans la conformité aux obligations légales de la LAP durant les douze derniers mois, on ne peut en dire autant pour l’adhésion aux objectifs de cette même Loi. En effet, les indicateurs contenus dans le plan stratégique des ministères sont, sauf exception, des indicateurs d’efforts plutôt que de résultats et de faible qualité. Et, bien que les indica-teurs possèdent maintenant majoritairement des cibles, les ministères peinent à atteindre celles-ci.

Les ministères semblent toujours aussi peu enclins à se mesurer de façon transparente et à se rendre ainsi imputable à la population. La parution du premier Bulletin ne semble pas y avoir changé grand-chose. L’introduction d’onze nouveaux plans stratégiques, pour la plupart médiocres, est une occasion manquée par l’appareil gouvernemental à démontrer qu’il reconnaît les déficiences dans son approche de gestion axée sur les résultats et qu’il souhaite réellement faire amende honorable.

L’exemple du ministre de la Justice démontre bien cette indifférence aux critiques. On ne recense absolument aucun change-ment au plan stratégique suite à la parution du premier Bulletin, pourtant particulièrement lapidaire au sujet de l’adhésion aux obligations, mais aussi aux objectifs de la LAP.

Dans ce contexte, il est important de souligner la performance du MAPAQ. Dans les organisations autant publiques que privées, la présence d’un plan avec des indicateurs de résultats, de qualité qui sont revus régulièrement lorsqu’atteints n’attirerait pas particulièrement l’attention parce que la pratique est attendue de tous. Par contre, lorsque comparé à ses semblables, la perfor-mance du MAPAQ est spectaculaire, quasi miraculeuse.

D’ailleurs, elle est encore plus notable par le souci du MAPAQ d’être transparent dans son rapport annuel. Plutôt que d’être dithyrambique sur sa performance comme le sont plusieurs ministères, le MAPAQ souligne avec honnêteté ses succès mais aussi ses échecs et avoue sans détour les endroits où la satisfaction de la clientèle n’est pas au rendez-vous. Le MAPAQ inspire confiance dans sa capacité de livrer des résultats significatifs pour la population du Québec.

Mais si quelques ministères ont fait preuve de courage en adoptant avec diligence les objectifs et les devoirs de la LAP, la grande majorité des ministères à l’étude démontre encore une résistance aux objectifs d’imputabilité, de transparence et de livraison de résultats.

Finalement, même l’atteinte de résultats à 43 % doit être prise avec un grain de sel. En effet, la piètre qualité des indicateurs rend l’exercice futile, sauf exceptions des 5 premiers ministères du Bulletin. Quand le ministère de la Santé indique avoir atteint 34 % de ses cibles en 2016-17, la population du Québec peut être certaine que ce chiffre, aussi petit soit-il, représente des changements concrets et significatifs parce que la qualité de son plan stratégique est élevé. On ne peut dire la même chose des autres ministères. Par exemple, que vaut une atteinte de 61 % des cibles au ministère de la Culture lorsqu’il obtient un famélique 36 % dans la qualité de son plan?

Le portrait brossé par la troisième et la quatrième partie du rapport démontre hors de tout doute que l’implantation de la LAP et de ses principes de transparence, d’imputabilité et de gestion axée sur le résultat est un échec dans les ministères. C’est la seule conclusion possible.

D’ailleurs, dans l’édition 2017 du Rapport, nous avions présenté les mécanismes de contrôle de la LAP et avions mis en lumière de nombreuses failles d’imputabilité dans son application qui pourraient expliquer la piètre performance des ministères. Malgré les meilleurs efforts du Conseil du trésor, l’essentiel de la problématique reste entier puisqu’il manque toujours une instance décisionnelle supra-ministérielle ayant le pouvoir d’imposer des correctifs majeurs aux ministères délinquants envers leurs obligations vis-à-vis la LAP. Il n’y a donc que peu de valeur à reproduire ici l’analyse de ces failles, mais invitons le lecteur à les consulter dans la version 2017 du Bulletin.

42

Ana

lyse

du

plan

str

atég

ique

201

2-17

43

Ana

lyse

du

plan

str

atég

ique

201

2-17

Résultats du gouvernement

IntroductionL’idée de donner une note globale aux ministères selon leur adhésion aux obligations et aux objectifs de la LAP, ainsi que la réalisation des engagements de leur plan stratégique a été reçue favorablement par les lecteurs du rapport 2017. C’est, en effet, la façon la plus simple de donner à la population un portrait des efforts des ministères envers l’atteinte de leurs missions fondamentales respectives.

Le Bulletin permet à la population de juger de la performance des ministères et de demander des comptes à ceux dont la note globale est inadéquate. La méthodologie du Bulletin est disponible à L’annexe 4.

La pondération sur 100 du Bulletin, n’a pas véritablement changée depuis le rapport 2017, sauf pour le remplacement du critère de l’adéquation des missions par la présence de cibles annuelles. Toutefois, la pondération de ce critère étant restée égale, il est simple et justifié de comparer les résultats de 2017 avec ceux de 2018.

Le Bulletin est composé des différents points d’analyse effectués dans cette étude. On y retrouve les obligations légales de la LAP (15 %), la qualité des indicateurs (35 %) ainsi que l’atteinte des cibles au plan stratégique (50 %). La méthodologie détaillée de la pondération est disponible à l’Annexe 6.

Pour faciliter la compréhension du Bulletin, voici un tableau sommaire des constats de cette étude, ventilé par ministère.

CINQUIÈME PARTIE

44

Ana

lyse

du

plan

str

atég

ique

201

2-17

Tableau 1 – Sommaire des constats de l’étudeTableau 1 - Sommaire des constats - évaluation des rapports annuels 2016-17 et des plans stratégiques les plus récents des ministères

Ministère

Obligations Légales LAP(conformité) Qualité d'application LAP Résultats du

gouvernement

Production annuelle

Declaration au Citoyen

(5)(A)

Production annuelle Plan Stratégique

(10)(B)

Plan Stratégique Atteinte cibles - plan stratégique

2016-17(50)(F)

Présence de cibles annuelles

(5)(C)

Type indicateur

(15)(D)

Qualité indicateur

/ cibles (15)(E)

Finance n  5 n  6 n 3 n  41 % n  76 % n  62 %

Education n  5 n  0 n 3 n  34 % n  50 % n  0 %

Sante n  5 n  10 n  0 n  78 % n  100 % n  34 %

Travail n  5 n  10 n  0 n 59 % n  100 % n  29 %

Culture n  5 n  0 n  0 n  0 % n  87 % n  61 %

Famille n  5 n  10 n  5 n  8 % n  58 % n  53 %

Rel. Int & Franco n  5 n  10 n  5 n  0 % n  83 % n  76 %

Conseil Executif n  0 n  6 n  0 n  12 % n  35 % n  0 %

Conseil du Trésor n  3 n  6 n  5 n  48 % n  74 % n  43 %

Forest, Faune & Parc n  5 n  6 n  0 n  22 % n  61 % n  50 %

Tourisme n  3 n  6 n  5 n  9 % n  64 % n  0 %

Justice n  5 n  6 n  3 n  15 % n  19 % n  38 %

Economie n  5 n  10 n  5 n  28 % n  97 % n  52 %

Immigration n  5 n  6 n  5 n  54 % n  73 % n  46 %

Sécurité Pub. n  5 n  0 n 3 n  46 % n  81 % n  34 %

Environnem. n  3 n  0 n  0 n  21 % n  27 % n  0 %

Energie & RN n  5 n  6 n  5 n  25 % n  83 % n  19 %

MAPAQ n  3 n  10 n  5 n  72 % n  100 % n  66 %

Transport n  5 n  0 n  5 n  75 % n  85 % n  31 %

Légende n    En règle n    Passable n    Déficient

45

Ana

lyse

du

plan

str

atég

ique

201

2-17

Tableau 2 – Le Bulletin des ministères 2018 – Atteinte de résultats significatifs pour la populationTableau 2 - Bulletin des Ministères 2018, année de référence - 2016-17

Qualité d'application LAP

Résultats du gouvernement

Résultats du classement 2016-17

Pondération Classement 50% 50%

Note Finale du Bulletin

Classement2018 Notes

Note 2017

(% delta 2017-18)

Ministère

Qualité des plans, indicateurs et

cibles (sur 100%)(ABCDE)

Atteinte cibles - plan stratégiques multi-années (sur 100%)

(F)

MAPAQ 88 % 66 % n  77 % 1 62 % (+15 %)

Rel. Int & Franco 65 % 76 % n  71 % 2 N/A

Economie 77 % 52 % n 65 % 3 18 % (+47 %)

Finance 64 % 62 % n 63 % 4 28 % (+35 %)

Sante 83 % 34 % n  59 % 5 69 % (-10 %)

Immigration 70 % 46 % n  58 % 6 52 % (+6 %)

Famille 60 % 53 % n  57 % 7 N/A

Conseil du Trésor 66 % 43 % n  55 % 8 N/A

Travail 78 % 29 % n  54 % 9 73 % (-19 %)

Transport 68 % 31 % n  49 % 10 49 % (0 %)

Culture 36 % 61 % n  49 % 11 50 % (-1 %)

Forest, Faune & Parc 47 % 50 % n  48 % 12 N/A

Sécurité Pub. 54 % 34 % n  44 % 13 34 % (+10 %)

Energie & RN 65 % 19 % n  42 % 14 50 % (-8 %)

Justice 38 % 38 % n  38 % 15 33 % (+5 %)

Tourisme 50 % 0 % n  25 % 16 A N/A

Education 41 % 0 % n  21 % 17 A 63 % (-42 %)

Conseil Executif 26 % 0 % n  13 % 18 B N/A

Environnement 21 % 0 % n  10 % 19 A 51 % (-41 %)

Indice de la Performance des Ministères du Québec n  47 %

Légende n    En règle n    Passable n    DéficientA = Absence de plan stratégique en vigeur pour l’année de référence la plus récente 2016-17. Plan déspoé en cours d’année 2017-18

B = Absence totale de cibles dans le plan stratégique en vigueur pendant l’année 2016-17

Les résultats du Bulletin de 2017 viennent principalement confirmer les tendances globales de l’appareil gouvernemental et spécifiques par ministère. Seuls quatre ministères obtiennent la note de passage cette année.

Sans surprise, le MAPAQ prend distinctement la tête du Bulletin, avec la plus haute note (88 %) en matière de qualité du plan stratégique et une atteinte de ses cibles à 66 % pour l’année 2016-17, une note qui sans être impressionnante dans l’absolu, le devient lorsque comparé aux autres ministères.

46

Ana

lyse

du

plan

str

atég

ique

201

2-17

»

«Sans surprise, le MAPAQ prend distinctement la tête du

Bulletin, avec la plus haute note (88%) en matière de qualité

du plan stratégique et une atteinte de ses cibles à 66% pour

l’année 2016-17, une note qui sans être impressionnante dans

l’absolu, le devient lorsque comparé aux autres ministères. 

Au bas du classement, on retrouve sans surprise le ministère

de la Justice qui n’a rien changé depuis la dernière édition

du Bulletin, indifférent aux critiques formulées à

son endroit.

47

Ana

lyse

du

plan

str

atég

ique

201

2-17

Suit ensuite le ministère des Relations Internationales et de la Francophonie, une nouvelle entrée dans le Bulletin. Le MRIF, malgré des fonctions principalement d’influence et de diplomatie qui se prêtent moins à des indicateurs de résultats, a produit et implanté avec succès un plan stratégique bien structuré et de qualité. Le ministère de la Culture, aux fonctions principalement d’influence aussi, devrait prendre note.

Suivent ensuite le ministère du Dev. Économique et celui des Finances. Dans le cas du premier, c’est une ascension importante, principalement due à la présence d’un plan stratégique en vigueur pour l’année 2016-17, ce qui n’était pas le cas pour l’année 2015-16. C’est un plan un peu trop axé sur les efforts (# de rencontres, etc.) mais sérieux, ciblé sur la mission du ministère avec une atteinte des résultats en dessous de la note de passage, mais fort respectable lorsque comparé aux autres ministères.

En ce qui concerne le ministère des Finances, la rigueur du travail n’a jamais été mise en doute. Toutefois, en 2015-16, les indicateurs du plan stratégique avaient peu de cibles et, de façon globale, n’étaient pas présentés de façon à offrir au citoyen un moyen simple de mesurer la performance du ministère. Le plan stratégique 2017-20 vient corriger ces lacunes.

Finalement, une mention spéciale au ministère de la Santé, qui cette année passe sous la barre des 60 %, une chute causée principalement par une diminution de l’atteinte de ses résultats. Conséquences de l’enveloppe budgétaire qui lui est allouée et du rôle névralgique qu’il joue au Québec, le ministère de la Santé est constamment sous la loupe de la société civile. Si l’on doit souligner la faible atteinte de ses cibles et son incapacité à rencontrer les attentes de la population, on doit aussi souligner l’im-putabilité dont il fait preuve en s’astreignant à un plan stratégique rigoureux. À travers une majorité d’indicateurs de résultats, le ministère est pleinement transparent dans le succès ou l’échec dans l’atteinte de résultats significatifs pour la population du Québec. On ne peut en dire autant de la grande majorité des ministères.

Au bas du classement, on retrouve sans surprise le ministère de la Justice qui n’a rien changé depuis la dernière édition du Bulletin, indifférent aux critiques formulées à son endroit.

On retrouve ensuite trois ministères qui obtiennent une note de 0 % dans l’atteinte des résultats. Pour l’Éducation, le Tourisme et l’Environnement, la raison s’explique par l’absence de plans stratégiques en vigueur pour l’année de référence 2016-17. Le plan stratégique du Tourisme était échu depuis d’une dizaine d’années, l’Éducation depuis quatre ans et l’Environnement trois ans. De son côté, le ministère du Conseil exécutif avait un plan en vigueur qui ne contenait aucune cible. Selon la méthodologie du rapport, il est impossible logiquement de juger de l’atteinte d’un indicateur si celui n’a pas de cible. En fait, sans cible, un indicateur devient simplement la présentation d’une statistique.

On peut donc s’attendre à ce que ces ministères obtiennent une meilleure note l’année prochaine, parce qu’un plan stratégique aura été en vigueur pour l’année 2017-18. Il est important de noter par contre que cette note sera sérieusement limitée par les nouveaux plans stratégiques de l’Éducation, du Conseil exécutif et de l’Environnement, déposés cette année, qui sont particu-lièrement médiocres. Pour ces trois ministères, c’est une véritable occasion manquée de démontrer leur volonté de faire preuve de transparence, d’imputabilité et de volonté de livraison de résultats.

De façon globale, pour tous les ministères sous la barre de 60 %, la conclusion de l’édition du Bulletin 2017 s’applique toujours. Un examen de conscience est nécessaire et un retour à la case départ serait salutaire. En effet, l’atteinte de résultats ne veut pas dire grand-chose quand la qualité des indicateurs fait défaut. La LAP est une excellente feuille de route pour atteindre des résultats ; ces ministères seraient bien avisés de retourner aux obligations et aux objectifs de cette législation.

Finalement, de la moyenne des notes individuelles des ministères, nous tirons un indice de performance des ministères du Québec (IPMQ) de 47 % pour 2018, en baisse de 2 % depuis 2017. Avec un résultat aussi faible, il est évident qu’il y a beaucoup de place à l’amélioration dans l’appareil administratif au Québec.

48

Ana

lyse

du

plan

str

atég

ique

201

2-17

49

Ana

lyse

du

plan

str

atég

ique

201

2-17

Machine de 100 milliards cherche (toujours) conducteur

La majorité de l’appareil administratif ignore la LAP. L’introduction de la LAP, il y a 18 ans, s’inspirant des meilleures pratiques en vigueur dans le privé, pose trois grandes exigences aux ministères : des résultats, de l’imputabilité et de la transparence. En premier lieu, les ministères se doivent de comprendre les attentes des citoyens et de les transposer en obligations de résultats, concrètement représentés par les indicateurs. Dans un deuxième temps, les ministères doivent rendre compte de l’amélioration de ces indicateurs en prenant des obligations de cibles. Et finalement, les ministères doivent être transparents en publiant l’état de l’évolution de ces indicateurs de façon annuelle.

Le changement demandé est particulièrement louable et même certainement nécessaire pour rétablir la confiance des contri-buables du Québec envers l’administration publique. Le pacte est simple : le citoyen québécois, un des plus taxés en Amérique du Nord, continue à faire les sacrifices requis par ses impôts, mais son administration publique lui démontre qu’elle comprend ses attentes, améliore ou maintient le niveau des services qu’elle lui offre et rapporte honnêtement ses progrès et échecs annuellement.

A la lumière des résultats de l’édition 2018 du Bulletin des ministères, un citoyen pourrait être pris de découragement. En effet, l’édition 2017 présentait sensiblement les mêmes conclusions, critiques et résultats. Pourtant, le rapport a été hautement médiatisé (pour un rapport de ce type) et des engagements ont été pris par l’appareil administratif. Pourquoi continuer à produire un Bulletin si rien ne change ?

Ce serait dévaluer significativement l’apport du Bulletin 2018 que de penser ainsi. En effet, la production du rapport cette année permet de préciser plusieurs paramètres du problème ; il s’agit d’un apport important à la question complexe de livraison par les ministères de résultats significatifs pour la population du Québec.

Premièrement, l’ensemble des ministères est dorénavant inclus dans l’analyse. Nous pouvons dorénavant conclure que l’en-semble de l’appareil administratif, sauf quelques exceptions qui confirment la règle, est déphasé vis-à-vis les obligations de la LAP mais aussi envers la population qu’il dessert.

Deuxièmement, nous confirmons la tendance de résultats médiocres et l’absence de livraison de résultats significatifs pour la population du Québec. Si cette tendance est une mauvaise nouvelle pour les citoyens, elle prouve que le problème est profond et que des ajustements cosmétiques ne pourront régler le problème.

Troisièmement, les résultats médiocres viennent confirmer l’échec des mécanismes de contrôle de la LAP à redresser la situa-tion et forcer les ministères à livrer des résultats significatifs pour la population du Québec. En ce sens, les efforts du Conseil du trésor sont louables, mais clairement insuffisants. L’appareil administratif ne peut plus se défiler, il doit changer. Et les citoyens attendent toujours un conducteur pour cette machine qui roule lentement vers nulle part. À 100 milliards de dollars de dépenses par année, la population du Québec en mérite certainement un.

CONCLUSION FINALE

50

Ana

lyse

du

plan

str

atég

ique

201

2-17

Finalement, le retour annuel du Bulletin et sa médiatisation, grâce au partenariat avec L’actualité, est le bénéfice ultime de la parution du rapport. Le Bulletin informe la population et force les ministères inefficaces à justifier leur inaction. C’est la pérennité de la démarche qui maximise les chances de voir l’appareil administratif évoluer vers une plus grande adhésion des objectifs d’imputabilité, de transparence et de résultats. Parce que personne ne veut constamment terminer dans le bas du classement.

En attendant, nous espérons que la publication de notre rapport et de notre Bulletin pourra encourager le gouvernement et les ministères à prendre les moyens nécessaires pour redresser la barre quant à la conformité aux objectifs de la LAP. Cette adhésion donnera aux citoyens la qualité des services auxquels ils sont en droit de s’attendre et leur permettra d’en constater l’amélioration au cours des prochaines années dans un rapport simple publié sans retard, régulièrement par le gouvernement.

»«Les résultats médiocres viennent confirmer l’échec des

mécanismes de contrôle de la LAP à redresser la situation et

forcer les ministères à livrer des résultats significatifs pour

la population du Québec. En ce sens, les efforts du Conseil du

trésor sont louables, mais clairement insuffisants. L’appareil

administratif ne peut plus se défiler, il doit changer. 

51

Ana

lyse

du

plan

str

atég

ique

201

2-17

Les prochaines itérations du Bulletin

Avec cette étude, nous avons raffiné les fondations du suivi de l’appareil gouvernemental quant à l’atteinte de résultats significa-tifs pour la population. Il reste par contre encore beaucoup de travail pour terminer l’ensemble de l’édifice. Voici les prochaines étapes envisagées :

1 Publier les résultats individuels des ministères sur la plateforme web de l’IPMQ ;

2 Attendre le dépôt des rapports annuels 2017-18 (année se terminant le 31 mars 2018) en octobre 2018 et produire le Bulletin 2019 ;

3 Poursuivre l’éducation de la population au sujet de la performance de l’appareil administratif en collaboration avec L’actualité ;

4 Maintenant que l’ensemble des ministères sont partis de l’étude, étendre l’analyse à l’ensemble des entités gouvernemen-tales assujetties à la LAP (44 Organismes). Les autres entités gouvernementales seront ajoutées en deux ou trois autres vagues ;

5 Bonifier la méthodologie et la portée de l’analyse :

a. Rester à l’écoute des commentaires à la suite de la parution de la deuxième mouture du Bulletin et bonifier la méthodologie, au besoin ;

b. Évaluer la portée de l’analyse et décider de l’ajout d’éléments :

i. Inclure une revue complète des indicateurs et des résultats de la Déclaration des services aux citoyens ;

ii. Intégrer une notion de respect budgétaire en incluant une section sur le respect des plans budgétaires ;

iii. Intégrer une notion plus poussée de compréhension et de connaissance des besoins de la population en évaluant quan-titativement et qualitativement les efforts des ministères ;

iv. Obtenir et évaluer les méthodes de calculs des indicateurs et faire une vigie sur leur application rigoureuse.

6 Amorcer l’analyse de l’adéquation entre les missions des ministères, les indicateurs choisis et les attentes des citoyens.

PROCHAINES ÉTAPES

52

Ana

lyse

du

plan

str

atég

ique

201

2-17

53

Ana

lyse

du

plan

str

atég

ique

201

2-17

59

Pour

l’at

tein

te d

e

ANNEXES

54

Ana

lyse

du

plan

str

atég

ique

201

2-17

1

55

Ana

lyse

du

plan

str

atég

ique

201

2-17

ANNEXES

ANNEXE1–CritiquedelasélectiondesindicateursdelaDSCetdesplansstratégiques

CommediscutédanslapartiesurlesobligationslégalesdelaLAP,nousavonsplusieursréservessurlechoixdes

indicateursetleurrépartitiondanslaDSCetleplanstratégique.Pourexpliciternotrepropos,ilimportederevenir

surletexteexactdelaLoisurl’administrationpublique

« SectionII

6.UnMinistèreouunorganismequifournitdirectementdesservicesauxcitoyensrendpubliqueunedéclaration

contenantsesobjectifsquantauniveaudesservicesoffertsetquantàlaqualitédesservices.

Ladéclarationportenotammentsurladiligenceaveclaquellelesservicesdevraientêtrerendusetfournitune

informationclairesurleurnatureetleuraccessibilité. »

Ilestpossibled’interprétercetextedeloidedeuxfaçons:

• Restreint:Leterme« service »iciestinterprétédefaçontrèsrestreinte,c’est-à-direqu’ilsignifie

exclusivementlesservicesfournisparlesemployésduministère.

o Engros,cecicouvredesdemandesderenseignements,lesplaintesetlestâchesadministratives.

o Parexemple,leministèredelaJusticefourniraitdesdélaissurdestâchesadministrativescomme

lapublicationdesdroitsoulepaiementdesjurés,maisaucuneinformationsurlesystème

judiciaire.

• Général:Letermeservicepeutêtreinterprétédefaçonglobalepourincorporerl’ensembledesservices

fournisparleministèreetlesdifférentsorganismesdontilalacharge.

o Cecicouvriraitdesindicateursderésultatsglobaux,quel’onretrouveprésentementplutôtdans

lesplansstratégiques.

o Parexemple,leministèredelaJusticefourniraitdesdonnéessurl’accessibilité,lecoût,l’équité,

lesinfrastructuresetl’efficacitédelajustice.

Enfait,touslesministèresanalysésontchoisid’interpréterlasectionII—6defaçontrèsrestreinte.Cettedécisionrendl’analysedesindicateurs,ciblesetrésultatsprésentsdanslaDéclarationdeservicesaucitoyende

faibleintérêtpuisqu’iln’yapasdecorrélationentrel’atteintedesciblesdeperformancesdeservices

administratifsetcelledel’atteintedelamissionduministèreenquestion.

Eneffet,onyretrouveengénéral:

• Lesdélaisderéponsesauxdemandesderenseignementsgénéraux,partypedecommunications ;

• Lesdélaisderéponsesauxdemandesderenseignementsauxprogrammesspécifiques,partypede

communications ;

• Lesdélaisderéponsesauxplaintes ;

• Lesdélaispourdemultiplestâchesadministratives,lesquelles,bienqu’importantesaubon

fonctionnementdesministères,n’ontaucunevaleurpourdémontrerl’atteintedeleurvéritablemission.

Lesuccèsd’unministèreàremplirdanscertainsdélaisdestâchesadministrativesoudefournirdesréponsesaux

citoyensnedonneaucunindicesursacapacitéd’atteindresavéritablemission.

56

Ana

lyse

du

plan

str

atég

ique

201

2-17

L’auteurdel’analyseestd’ailleursd’avisquelechoixd’indicateursaussipeupertinentdanslaDéclarationaux

citoyensnerespectepasl’espritdelaLoietcréédelaconfusionentrecettesectionetcelledesplansstratégiques.

• Lapremièreraisonestfortsimple:lorsquelapopulationpenseàl’éducation,ellenepensepasauxdélais

nécessairespourrecevoirsonattestationdediplômeouletempsd’attenteautéléphone,maisplutôtau

décrochage,àlaqualitédel’éducation,soncoût,sonaccessibilité,lesinfrastructures,etc.Ilestd’avisde

l’auteurquelescitoyensseraientpeuouaucunementintéressésparlesindicateursprésentésdansla

Déclarationauxcitoyens,cequilarendcaduqueetbienmalnommée.

• LadeuxièmeestuneraisondecohérencedanslaLAPdontl’absenceaétédiscutéeplushaut.Eneffet,

aveccetteinterprétationrestreintedelaSectionII-6,touslesindicateursderésultatsquiontunvéritable

intérêtseretrouventdanslasectionduplanstratégique.Cetterépartitioncréedelaconfusion,puisque

lesplansstratégiquessont,pardéfinition,vouésàchangerdansletemps,cequifaitapparaîtreet

disparaîtredesindicateurs,àl’intérieurmêmed’unplanstratégiqueetlorsdel’introductiond’un

nouveau.

Defaçongénérale,lapopulationseraitbeaucoupmieuxservieetl’exercicederedditiondecomptegagnerait

entransparencesi:

• LaDéclarationauxcitoyenscomprenaitunegammed’indicateursquidonneraientunaperçuglobaldela

capacitéduministèreàcompléterlesdifférentsélémentsdesamissionfondamentale.Àquelques

exceptionsprès,ceux-ciseraienttoujourslesmêmes.

• Leplanstratégiquecontiendraitlenombred’indicateursjugésnécessairespourdémontrerl’impactdes

projets,plansetprioritésministériellespourlesprochainesannées.Ceux-cipourraienttoucherdes

problématiquesprécisesetdisparaîtrelorsqu’ilssontatteintssurplusieursannées,ouêtredéplacésdans

laDéclarationauxcitoyenslorsqueconsidérésdorénavantcommefondamentauxàl’évaluationdusuccès

delamissionfondamentaleduministère.

ANNEXE2—Ladescriptiondelagrilled’analysedesindicateursSMARTER

LaméthodeSMARTERutiliseseptcritèrespourjugerdelaqualitéd’unindicateuretutilisel’acronymeSMARTER

pourchacund’entreeux.

• Spourspécifique.Unindicateurdoitclairementindiquerlaréalitéàlaquelleontentedes’adresser.

Exemples:

o Tauxderétentiondanslesystèmescolaire ;

o Délaimoyen(enjours)entreledépôtd’unedemandeauxpetitescréancesetl’auditiondela

cause ;

o Nombredepatientsayantattenduplusdesixmoispourunechirurgied’unjour ;

o Moyenned’heured’attenteàl’urgence.

• Mpourmesurable.Avantdedéciderd’utiliserunindicateur,ondoits’assurerqu’ilestmesurable,autant

defaçonphilosophiquequedanslaréalité.

o Lesexemplesd’indicateursplushautsonttousmesurables.

57

Ana

lyse

du

plan

str

atég

ique

201

2-17

• Apouratteignable(attainable).Cettenotiontoucheautantàlaréalitéqueciblel’indicateurquelacible

quil’accompagne.Exemple:

o Silaperceptiond’unindicateuràl’intérieurd’uneorganisationestquelaréalitéoulaciblequi

l’accompagneestimpossibleàatteindre,aucuneénergieorganisationnelleneseradépenséeen

cesens.

• Rpourpertinent(relevant).Lanotiondepertinenceestimportanteparcequ’elleforcelesindicateursà

êtreenligneaveclamissionetlesenjeuxprincipauxdel’organisation.Parexemple:

o Siunministèregèreuneenveloppedeplusde17milliards,unindicateurquiporteraitsurun

programmequiendépense1,7millionpourraitêtreconsidérécommepeupertinent.

• Tpourtemps(timebound).Unindicateurdoitavoirunecibledansletemps.Parexemple:

o Danslemondedesaffaires,lesciblessontgénéralementfixéespourunepérioded’unanet

ensuiteréévaluéespourlaprochaineannée.

Lesdeuxlettresfinalesontétéajoutéesàlasuitedel’évolutiondelapenséeetdescritiquesfaitesaumodèle

originalSMART:

• Epourexplicable(explainable).Cettenotion,importantedanslemondedesaffaires,devientprimordiale

danslecadredelaLAP ;

o Pouruneréelletransparence,lecitoyendoitcomprendrel’indicateuretlaréalitéàlaquelleilfait

référence.

• Rpourrelatif(relative/proportion).Faireunexercicedecréationetdemaintiend’indicateursdemande

beaucoupd’effortsetdecoûtsàuneorganisationetlesindicateursdoiventêtreconçuspourrester

pertinentsetvéridiquespendantplusieursannéesetdifférentschangementsdecontextes.Entreicila

notionderelativité—siunindicateurestexpriméenpourcentaged’unensemble,ilrestera

généralementpluslongtempsvalidequ’unnombreabsolu.Dansl’exempleci-dessous,ledeuxième

indicateurestpréférableaupremierpuisqu’ilestrelatif.S’ilfallaitquelenombredetransactionsvariede

façonsignificative,laciblevarieraaussi,rendantl’indicateurtoujoursvalide,quelquesoitlecontexte.

Comparez:

o Indicateur1:Fairebaisserlenombredeplaintesà450

o Indicateur2:Recevoirmoinsque1%deplaintespartranchede1 000transactions

58

Ana

lyse

du

plan

str

atég

ique

201

2-17

ANNEXE3—Méthode:Qualitédesindicateursetexplicationdelapondération

Pourexpliquerlalogiqued’analysedesindicateursàl’étude,ilimportederappelerladéfinitiond’unindicateur.

L’indicateurestuneinformationouunemesurequipermetdejugerdesprogrèsaccomplisenvuedel’atteintede

l’objectif.Ilillustreconcrètement,entoutouenpartie,lerésultat,lephénomèneoul’objetqu’onveutmesurer.Pourqu’unindicateuraitunevaleurintrinsèque,ildoitinformeràproposd’unesituationetildoitmesurer.Ce

sontcesdeuxcritèresquiseretrouventàlabasedenotreanalyse.

Troisnotesontétéattribuéesauxindicateursàl’étudeetellesreprésententunecombinaisondelaqualitéde

l’indicateuretdelacible.

• Vert–Enrègle

o L’indicateurrespectelagrilleSMARTERetpossèdeuneciblequiestclaire

• Jaune—Passable

o L’indicateurrespecteseulementlesélémentsfondamentauxdelagrilleSMARTERoupossède

uneciblequiestdéficiente

o Defaçongénérale,lejauneaétéattribuéàunindicateurquiinformeoumesuredefaçon

partielle,àcausededéficiencesdansl’indicateurlui-mêmeoulacible.

• Rouge—Déficient

o L’indicateurnerespectepaslesélémentsfondamentauxdelagrilleSMARTERounepossèdepas

decible

o Defaçongénérale,lerougeaétéattribuéàunindicateurquin’informepasouquin’apasde

cible

o Rougeaaussiétéattribuéauxindicateursdontlanatureestcelled’unprojet(voirexplications

plusbas)

Grilled’analysedesindicateurs—ImpactdesélémentsSMARTERsurlanoted’unindicateur

Premièrement,bienquetrèsutilesdansleurensemble,touslesélémentsdelagrilleSMARTERn’ontpaslemême

niveaud’objectivité.Eneffet,deuxélémentsdelagrillesontplussubjectifsoudifficilesàévalueretilsontpar

conséquentétéutilisésavecparcimonieouaucunementdansl’analyse.

• A–Atteignable.Ilseraitfortcomplexepourl’auteurdel’étuded’évaluerlacapacitédesministères

d’atteindrelesciblesàmoinsd’êtreunexpertdanschaquedomaine,cequejenesuispas.En

conséquence,lecritèreAneparaîtpasdansl’analyse.

• Rel—(Relevant)Pertinence.Lecritèredepertinenceestunpiègedanslequell’auteurdel’analysen’a

préférénepastomber.Eneffet,bienquenousayonsplusieursréservesàproposdel’intérêtdecertains

indicateurstouchantlecitoyen,nousavonsdécidéd’éviterlepluspossibled’utilisercecritèrepournepas

tomberdansdesdiscussionsstérilessurunarbreenparticulier,alorsquec’estlaforêtquevisel’auteur

del’étude.

• E–(Explainable)—Explicable—Lecritèredeclartépeutaussiporteràunecertainesubjectivité.Pour

obtenirunbarèmerobuste,ilfaudraitfaireuneétudeauprèsd’unnombresignificatifdecitoyens

québécoispourdémontrercequiestcomprisetcequinel’estpas.Pourlesbesoinsdel’analyse,l’auteur

autilisélecritèreElorsquel’onpouvaitprésumerlahauteprobabilitéqu’uncitoyenmoyenne

comprennepasl’indicateurenquestion.

59

Ana

lyse

du

plan

str

atég

ique

201

2-17

Deuxièmement,quelquesélémentsdelagrilleoffrentquandmêmeunecertaineinformationmêmes’ilssont

déficients.L’absenceouladéficiencedestroisprochaineslettresaurontunimpactnégatifsurl’indicateur,maisne

lediscréditerontpascomplètement.

• S—Spécifique—unindicateurnonspécifiquedonnequandmêmeuneinformationsurunesituation,

aussivaguesoit-elle.Toutefois:

o Ledangerestévidemmentqu’ilsoittellementvaguequ’ilneveuilleriendire.

• T–Temps—S’iln’yapasdenotiondetempsattachéàl’indicateur,ilinformequandmêmesur

l’intentionetlacibleduministèrequil’utilise.Toutefois:

o Ledangerestévidemmentqu’ilnesoitjamaisréalisépuisqu’iln’yapasdedatebutoir.

• R–Relatif—Lorsqu’unindicateurn’estpasrelatif,iloffreunecertaineinformationsurunesituation,

sanstoutefoisdonnerlecontexte.Parexemple,unehaussede1 000patientstraitésestexcellentes’ily

enavait2 000enattente,maisn’estriendutouts’ilyenavait100 000.Cependant:

o Ledangerdel’absencedeRestquel’onpuissedonnerl’illusiond’unesituationpositiveouen

progrèsàtraversl’atteinted’uneciblesanscontexte,alorsqueglobalement,l’indicateureffet-

impactauquelserattachel’indicateurd’extrantsoitencriseounégatif.

Finalement,unseulélémentdelagrilleSMARTERestabsolumentfondamentalpourlasantéd’unindicateuret

discréditecomplètementunindicateurparsonabsence:

• M–Mesurable—Eneffet,siunindicateurn’estpasmesurable,iln’estpasunindicateur.Ilestunénoncé

d’intention,ilestunprojet,ouautre,maisilnepeutêtreconsidérécommeunindicateur.

ÉlémentsSMARTER AcronymeNoteattribuéeàl’indicateur

siélémentmanque

Spécifique S Jaune

Mesurable M Rouge

Atteignable A S.O.

Relevant(Pertinent) Rel Jaune

Temps T Jaune

Explicable E Jaune

Relatif R Jaune

Ilestimportantdenoterquecettegrilled’analyseproposéeetutiliséedansl’étudeestplutôtindulgente.Danslespratiquesnormalesd’affairesauprivé,unefaiblessed’unseuldescritèresdeSMARTERdiscréditeraitunindicateur.

Celadit,vul’inéditdecetteétude,l’auteurpréfèrelaisserlelecteurdéciderlui-mêmedelaréellevaleurdesindicateursenjaune.Lelecteurpourraconsulterl’ensembledesindicateurs,leuranalyseetleurpondérationàl’Annexe5.Qualitédesindicateurs—Impactsurlesélémentsdequalitéd’uneciblesurlanotedescibles

Lesélémentsdecritiquedel’analysed’uneciblesontrelativementsimples:

• Elledoitexister ;

o Cecisemblesimple,maisunnombresignificatifd’indicateursn’ontpasdecibles

§ Lesrapportsdegestionn’indiquentrien,ouÀdéterminerouS.O.

§ Lesrapportsdegestionindiquent« Bilanannuel/Bilanàréaliser/Bilandesactivités ».

Ceciéquivautànepasavoirdecible,puisqu’unministèrepourraitn’avoirrienfait,faire

60

Ana

lyse

du

plan

str

atég

ique

201

2-17

unbilansurlefaitdenerienavoirfaitetavoiratteintsacible.Derapportersesactivités

n’estpasunecible,c’estseulementunimpératifdegestion.

• Elledoitêtremesurable/vouloirdirequelquechose ;

o Ellenepeutêtreunénoncéd’intentionounepasoffrirunélémentdemesure

§ Exemple—Adaptationcontinuedesprogrammesd’études

o Ellenepeutêtrecirculaire ;

§ Exemple—Offredeformationsenréponseauxprioritésministériellesetàdesbesoins

exprimésparleréseauscolaire

§ Exempledecircularité,leministèredel’Éducationseratoujoursparfaitsurcet

indicateur,puisquelaciblebougetoujoursàsonbonvouloir.

o Elledoitêtrespécifique ;

§ Eneffet,ellenepeutindiquerseulementqu’unedirectionsouhaitée

§ Exemple—Augmentationdunombredejeunesenformationprofessionnellepar

rapportàl’annéescolaire2005-2006(nouveauxinscrits)

• Sansobjectifspécifique,unseuljeunedeplusestconsidérécommeunobjectif

atteint,surunplandecinqans.

• Danslecontexted’unplanpluriannuel,ellenedoitpasêtreunchiffreabsolu/définitif ;

o Exemple—Cinqcampagnesdepromotiondel’activitésportive.

o Leproblèmeavecunecibledéfinitivedansunplanpluriannuel,c’estquelorsqu’elleestatteinte,

iln’yaplusd’incitatifpourl’organisationdecontinueràytravaillerouymettredel’énergie.

§ Parexemple,silescinqcampagnessontfaitesdansl’an1duplanetqu’iln’yena

aucunedanslesquatreannéessuivantes,leministèreaatteintsonindicateur,maisla

populationest-ellevraimentbienservie ?

• Ellenepeutêtreunedate ;

o Laprésenced’unedatecommecibletrahitautomatiquementlanaturedel’indicateurproposé,

c’est-à-direqu’onneparlepasd’unesituation,d’unphénomèneoud’uneréalité,maisd’un

projet.

o Unedateestunecibletoutàfaitlégitimedansunplandeprojetoudanslagestiondeprojet,

maispascommeunecibled’unindicateur

§ Lacréationd’unprojetdeloin’estpasunindicateur,c’estunprojet

§ Lacréationd’unsitewebn’estpasunindicateur,c’estunprojet

o Lepourcentaged’implantationd’unnouveauprocessus,commeunprojetdeloi,n’estpas

particulièrementunbonindicateur,maisesttechniquementlégitime

§ Maisladatedupassaged’uneloi,parexemple,n’estpasunindicateur.

Notationdelacible

Élémentdelacible AcronymeNoteattribuéeàlaciblesi

élémentmanque

Présence(absence) A Rouge

Mesurable M Rouge

Spécifique S Rouge

Absolu/fini F Jaune

Date/Projet P Rouge

61

Ana

lyse

du

plan

str

atég

ique

201

2-17

Etfinalement,puisquelanoteglobaleestattribuéeenfonctiondelacombinaisondelaqualitédel’indicateuret

delavaliditédelacible,voicilanotationfinalequiseraattribuéeàl’indicateurbasésurl’interactionentrelesdeux

parties.

Noteglobalecombinéeindicateur+cible

Indicateur Cible Noteglobale

Vert Vert Vert

Vert Jaune Jaune

Vert Rouge Rouge

Jaune Vert Jaune

Jaune Jaune Jaune

Jaune Rouge Rouge

Rouge Vert Rouge

Rouge Jaune Rouge

Rouge Rouge Rouge

62

Ana

lyse

du

plan

str

atég

ique

201

2-17

ANNEXE4–MéthodologieduclassementdesministèresPourréférence,voiciletableausommaire,duquell’informationesttiréepourfaireleBulletin.

Méthodologie—Bulletin

• Lapondérationdechaquecritèreestindiquéedanslehautdescolonnes,sous()• Obligationlégaleadeuxcritères,lescolonnesA&B,quisontsurunepondérationfixe,c’est-à-direque

troiscouleurs=3scorepossibles.(100%,60%,0%)

• LaQualitéd’applicationdelaLAPestdiviséeentroiscritères,lapremièrecolonneCestfixe(5,3,0)alorsquelescolonnesD&Esontsurunepondérationvariable,dépendantdeleurscore.Lerésultatfinalestégalauscoredutableausommairemultipliéparlapondération.

• Lesrésultatsobtenusparlegouvernement,colonneF,estlederniercritèreetestaussisurunepondérationvariable,lescoredutableausommairemultipliéparlapondération

• LanotefinaleduBulletinestuneadditiondescolonnesA,B,C,D,E,F/100pourunpourcentage• Lesnotesexpliquentpourquoideuxministèresseretrouventplushautetdeuxpourquoitropbas.

Lalogiquedepondérationestsimplementbaséesurl’additiond’unnombredecritèresquidoivents’améliorerpourquel’ensemblesedirigeversunegestionparrésultat.Lapondérationdémontreuneimportanceégaleentrelaqualitéduprocessuspourobtenirdesindicateursdequalitéet,del’autrecôté,l’obtentionderésultats.

Tableau 1 - Sommaire des constats - évaluation des rapports annuels 2016-17 et des plans stratégiques les plus récents des ministères

Ministère

Obligations Légales LAP(conformité) Qualité d'application LAP Résultats du

gouvernement

Production annuelle

Declaration au Citoyen

(5)(A)

Production annuelle Plan Stratégique

(10)(B)

Plan Stratégique Atteinte cibles - plan stratégique

2016-17(50)(F)

Présence de cibles annuelles

(5)(C)

Type indicateur

(15)(D)

Qualité indicateur

/ cibles (15)(E)

Finance n  5 n  6 n 3 n  41 % n  76 % n  62 %

Education n  5 n  0 n 3 n  34 % n  50 % n  0 %

Sante n  5 n  10 n  0 n  78 % n  100 % n  34 %

Travail n  5 n  10 n  0 n 59 % n  100 % n  29 %

Culture n  5 n  0 n  0 n  0 % n  87 % n  61 %

Famille n  5 n  10 n  5 n  8 % n  58 % n  53 %

Rel. Int & Franco n  5 n  10 n  5 n  0 % n  83 % n  76 %

Conseil Executif n  0 n  6 n  0 n  12 % n  35 % n  0 %

Conseil du Trésor n  3 n  6 n  5 n  48 % n  74 % n  43 %

Forest, Faune & Parc n  5 n  6 n  0 n  22 % n  61 % n  50 %

Tourisme n  3 n  6 n  5 n  9 % n  64 % n  0 %

Justice n  5 n  6 n  3 n  15 % n  19 % n  38 %

Economie n  5 n  10 n  5 n  28 % n  97 % n  52 %

Immigration n  5 n  6 n  5 n  54 % n  73 % n  46 %

Sécurité Pub. n  5 n  0 n 3 n  46 % n  81 % n  34 %

Environnem. n  3 n  0 n  0 n  21 % n  27 % n  0 %

Energie & RN n  5 n  6 n  5 n  25 % n  83 % n  19 %

MAPAQ n  3 n  10 n  5 n  72 % n  100 % n  66 %

Transport n  5 n  0 n  5 n  75 % n  85 % n  31 %

Légende n    En règle n    Passable n    Déficient

ANNEXE4–MéthodologieduclassementdesministèresPourréférence,voiciletableausommaire,duquell’informationesttiréepourfaireleBulletin.

Méthodologie—Bulletin

• Lapondérationdechaquecritèreestindiquéedanslehautdescolonnes,sous()• Obligationlégaleadeuxcritères,lescolonnesA&B,quisontsurunepondérationfixe,c’est-à-direque

troiscouleurs=3scorepossibles.(100%,60%,0%)

• LaQualitéd’applicationdelaLAPestdiviséeentroiscritères,lapremièrecolonneCestfixe(5,3,0)alorsquelescolonnesD&Esontsurunepondérationvariable,dépendantdeleurscore.Lerésultatfinalestégalauscoredutableausommairemultipliéparlapondération.

• Lesrésultatsobtenusparlegouvernement,colonneF,estlederniercritèreetestaussisurunepondérationvariable,lescoredutableausommairemultipliéparlapondération

• LanotefinaleduBulletinestuneadditiondescolonnesA,B,C,D,E,F/100pourunpourcentage• Lesnotesexpliquentpourquoideuxministèresseretrouventplushautetdeuxpourquoitropbas.

Lalogiquedepondérationestsimplementbaséesurl’additiond’unnombredecritèresquidoivents’améliorerpourquel’ensemblesedirigeversunegestionparrésultat.Lapondérationdémontreuneimportanceégaleentrelaqualitéduprocessuspourobtenirdesindicateursdequalitéet,del’autrecôté,l’obtentionderésultats.

63

Ana

lyse

du

plan

str

atég

ique

201

2-17

1

1

64

Ana

lyse

du

plan

str

atég

ique

201

2-17

1

Une analyse de l’application de la Loi sur l’administration publique (2011-2017) et de ses impacts

MARC-NICOLAS KOBRYNSKY08/01/2018