ÉCOLE DES SCIENCES POLITIQUES ET SOCIALES

L’INSTITUTIONNALISATION DE L’ÉVA-LUATION DES POLITIQUES PUBLIQUES

EN WALLONIE.ÉTAT DES LIEUX ET FACTEURS EXPLICATIFS.

FYALKOWSKI POL

Promoteur : Prof. David Aubin

Mémoire présenté dans le cadre du Master [120] en Administration Publique. Finalité : Management et évaluation des politiques publiques

Septembre 2012

« Je déclare sur l’honneur que ce mémoire a été écrit de ma plume, sans avoir sollicité d’aide

extérieure illicite, qu’il n’est pas la reprise d’un travail présenté dans une autre institution pour

évaluation, et qu’il n’a jamais été publié, en tout ou en partie. Toutes les informations (idées,

phrases, graphes, cartes, tableaux, …) empruntées ou faisant référence à des sources primaires

ou secondaires sont référencées adéquatement selon la méthode universitaire en vigueur.

Je déclare avoir pris connaissance et adhérer au Code de déontologie pour les étudiants en ma-

tière d'emprunts, de citations et d'exploitation de sources diverses et savoir que le plagiat

constitue une faute grave. »

1

Ce mémoire n’aurait pu aboutir sans le concours de plusieurs personnes. Je tiens à marquer ma reconnaissance à leur égard.

Merci au professeur David Aubin pour sa disponibilité et ses conseils avisés.

Merci à Béatrice Van Haeperen, Cécilia De Decker et Romain Dumont pour le temps qu’ils m’ont consacré et les explications qu’ils m’ont apportées.

Merci à Valéry pour son indispensable travail de relecture.

Et enfin, merci à Marie-Lucie pour sa patience et son soutien tout au long de la rédaction de ce mémoire.

2

Table des matières

INTRODUCTION 6

CHAPITRE 1 : PRÉSENTATION DES CONCEPTS 9

1. L’évaluation des politiques publiques____________________________________________91.1. Définition______________________________________________________________________9

1.1.1. Les politiques publiques comme objet de l’évaluation 111.1.2. L’évaluation comme mesure des effets des politiques publiques 121.1.3. L’évaluation comme jugement de valeur 141.1.4. L’évaluation comme une démarche scientifique intégrée dans un dispositif politique 14

1.2. Approches, designs et méthodes : trois éléments structurants___________________________161.2.1. Les approches évaluatives161.2.2. Les designs de recherche 171.2.3. Les méthodes évaluatives 17

1.3. Les finalités de l’évaluation_______________________________________________________17

2. L’institutionnalisation de l’évaluation des politiques publiques_______________________182.1. Définition_____________________________________________________________________18

3. Conclusions________________________________________________________________20

CHAPITRE 2 : MESURER L’INSTITUTIONNALISATION DE L’ÉVALUATION DES POLITIQUES PUBLIQUES EN WALLONIE 21

1. Histoire de l’institutionnalisation de l’évaluation__________________________________211.1. Au niveau international__________________________________________________________211.2. En Wallonie___________________________________________________________________23

1.2.1. La phase règlementaire 241.2.2. La phase d’appropriation 261.2.3. La phase d’institutionnalisation formelle 27

2. Opérationnalisation de l’institutionnalisation de l’évaluation des politiques publiques en Wallonie_______________________________________________________________________29

3. L’ampleur de la pratique évaluative_____________________________________________313.1. Le nombre et le sujet des évaluations_______________________________________________31

3.1.1. Collecte des données 313.1.2. Analyse des résultats 34

3.2. Les clauses évaluatives___________________________________________________________383.2.1. Collecte des données 383.2.2. Analyse des résultats 39

3.3. L’évaluation dans la Déclaration de Politique Régionale de la Région Wallonne (DPR) pour la législature 2009-2014.__________________________________________________________________41

3.3.1. Collecte des données 413.3.2. Analyse des résultats 41

3.4. Principaux enseignements________________________________________________________43

4. Les acteurs et les structures organisationnelles de l’évaluation_______________________434.1. Les acteurs et les structures organisationnelles_______________________________________43

4.1.1. Collecte des données 434.1.2. Analyse des résultats 44

4.2. Émergence d’une communauté épistémique ?________________________________________554.2.1. Collecte des données 554.2.2. Analyse des résultats 56

4.3. Principaux enseignements________________________________________________________58

3

5. La qualité des évaluations_____________________________________________________595.1. Collecte des données____________________________________________________________595.2. Analyse des résultats____________________________________________________________605.3. Principaux enseignements________________________________________________________63

6. La diffusion et l’utilisation des évaluations_______________________________________636.1. Diffusion des évaluations_________________________________________________________63

6.1.1. Collecte des données 636.1.2. Analyse des résultats 64

6.2. Utilisation des évaluations________________________________________________________646.2.1. Collecte des données 646.2.2. Analyse des résultats 65

6.2.3. Principaux enseignements________________________________________________________66

7. Conclusions________________________________________________________________66

CHAPITRE 3 : LES FACTEURS D’INSTITUTIONNALISATION 68

1. L’européanisation de l’action publique__________________________________________691.1. Le processus d’européanisation___________________________________________________691.2. L’influence communautaire en matière d’évaluation___________________________________701.3. Le cas Wallon__________________________________________________________________72

2. La modernisation administrative inspirée du New Public Management________________772.1. Le New Public management (NPM)_________________________________________________772.2. L’évaluation des politiques publiques dans l’univers du NPM____________________________782.3. Le cas wallon__________________________________________________________________80

3. Crise de légitimité de l’action publique__________________________________________853.1. Crise de légitimité de l’action publique______________________________________________853.2. Crise de légitimité et évaluation des politiques publiques_______________________________873.3. Le cas wallon__________________________________________________________________88

4. Conclusions________________________________________________________________92

CONCLUSION GÉNÉRALE 94

BIBLIOGRAPHIE 96

Ouvrages et articles scientifiques___________________________________________________96

Documents officiels et sites internet________________________________________________102

ANNEXES 104

4

Table des Annexes

Annexe 1 : Les quatre champs constitutifs d’un paradigme...............................................................................104Annexe 2 : Les critères d’évaluation...................................................................................................................104Annexe 3 : Approches, designs et méthodes : trois éléments structurants.........................................................105Annexe 4 : Quelques typologies en matière d’approches évaluative..................................................................109Annexe 5 : Historique de l’institutionnalisation de l’évaluation des politiques publiques en Wallonie...............110Annexe 6 : Indices théoriques de la maturité et du degré d’institutionnalisation de l’évaluation.......................111Annexe 7 : Les clauses évaluatives depuis le début de la législature..................................................................112Annexe 8 : Les évaluations de politiques publiques dans la DPR (2009-2014)....................................................118Annexe 9 : Cellules de l’administration centrale qui ont des activités d’évaluation parmi leurs missions...........127Annexe 10 : Les acteurs privés de l’évaluation en Wallonie................................................................................128Annexe 11 : Les centres de recherche qui effectuent des travaux d’évaluation..................................................129Annexe 12 : Les activités de la SWEP liées à l’évaluation....................................................................................129Annexe 13 : Publications, conférences et colloques dédiés à l’évaluation des politiques publiques...................131Annexe 14 : La Wallonie dans deux classements internationaux........................................................................135Annexe 15 : Les Principes, outils et actions du New Public Management (NPM)................................................137Annexe 16 : Crise de légitimité en Wallonie ? Quelques chiffres........................................................................140

5

INTRODUCTION

L’évaluation des politiques publiques est non seulement largement présente dans les discours

politiques wallons1 mais elle est également devenue une pratique tangible dans bon nombre de

secteurs d’activités. La question de l’évaluation des politiques ou actions publiques peut être

approchée par différents chemins : on peut l’analyser à travers les méthodes qu’elle mobilise,

les approches plus ou moins participatives qu’elle met en œuvre, les positions

épistémologiques qu’elle recouvre. Elle peut être questionnée d’un strict point de vue

théorique ou être envisagée empiriquement au niveau international, national, régional et

même local. Nous avons décidé de l’aborder sous l’angle de son institutionnalisation en

Wallonie, faisant résolument le choix de l’analyse empirique.

Notre travail poursuit un double objectif. D’une part, un objectif de mesure du degré

d’institutionnalisation de l’évaluation des politiques publiques en Wallonie. D’autre part, un

objectif d’explication du processus. L’évaluation suscite un certain engouement, mais qu’en

est-il de sa pratique réelle en Wallonie ? Quels facteurs sont susceptibles d’expliquer son

institutionnalisation ? Nous tenterons de répondre à ces questions sans perdre de vue la

difficulté et la nécessité de délimiter le champ des activités à prendre en compte.

Une analyse à ce sujet se justifie d’autant plus qu’il n’existe que très peu de travaux consacrés

à ces questions, en dépit du fait que tout le monde semble s’accorder sur la nécessité

d’évaluer. Aucun état des lieux récent de la pratique évaluative n’a été établi et peu d’études

empiriques se sont véritablement intéressées aux facteurs d’institutionnalisation. Ce travail ne

s’est pas fait sans difficultés notamment eu égard à la collecte et au rassemblement des

données nécessaires à notre analyse. Le champ d’exploration était encore à défricher et il n’a

pas toujours été évident de trouver et de récolter les éléments utiles à notre étude. Cette

recherche n’est pas exempte de limites. Pour des raisons pratiques liées aux ressources

disponibles, plusieurs points seraient utilement complétés par des investigations

complémentaires. Ainsi, notre analyse ne prend que partiellement en compte la pratique

évaluative des différents organismes d’intérêt public. Par ailleurs, une recherche de grande

ampleur mériterait d’être réalisée concernant la qualité et l’utilisation des évaluations.

Ce mémoire s’articule autour de trois grands chapitres. Le premier se concentrera sur une

présentation des concepts d’évaluation des politiques publiques et d’institutionnalisation. 1 La Déclaration de Politique Régionale de la Région Wallonne pour la législature 2009-2014 comporte 205 occurrences aux termes « évaluation, évaluer, évaluateurs,…».

6

Compte tenu de la diversité des définitions présentes dans la littérature, nous tâcherons de

délimiter le plus clairement possible le champ des éléments que nous prendrons en

considération dans notre analyse.

Le deuxième chapitre sera consacré à la mesure du degré d’institutionnalisation de

l’évaluation des politiques publiques en Wallonie (notre variable dépendante). À cette fin,

nous opérationnaliserons l’institutionnalisation en distinguant, sur base de différents ouvrages

et articles qui traitent de la question, quatre dimensions : l’ampleur de la pratique, les acteurs

et formes organisationnelles, la qualité et l’utilisation des évaluations. Chaque dimension sera

ensuite traduite en différents indicateurs destinés à mesurer empiriquement le niveau de notre

variable dépendante. Nous montrerons, sur cette base, que la pratique évaluative est largement

répandue mais non systématique, polycentrique, peu coordonnée, de qualité inégale et peu

valorisée. Compte tenu de son caractère inédit, ce travail de mesure mobilisera une bonne

partie de l’espace de ce mémoire. Il poursuit une double ambition. Une ambition exploratoire

et informative, d’une part : alors que l’évaluation des politiques publiques fait l’objet de

nombreuses publications, peu de travaux se penchent sur le cas wallon et aucun ne traite, à

titre principal, de l’institutionnalisation de l’évaluation des politiques publiques en Wallonie.

Une ambition comparative, d’autre part : ces mesures permettront de situer la Wallonie dans

deux grands classements comparatifs internationaux.

Le troisième chapitre se penchera sur différents facteurs d’institutionnalisation de la pratique

(nos variables indépendantes). De multiples facteurs peuvent expliquer l’institutionnalisation

de l’évaluation des politiques publique. Suite à nos lectures et aux entretiens que nous avons

menés, nous nous sommes concentrés sur trois hypothèses qui nous paraissaient

potentiellement les plus éclairantes. Après les avoir présentées d’un point de vue théorique,

nous testerons chacune de ces hypothèses pour le cas wallon. La première porte sur

phénomène d’européanisation qui traverse l’action publique et peut être formulée comme

suit : L’institutionnalisation de l’évaluation des politiques publiques en Wallonie résulte des

exigences européennes en la matière. La seconde traite des évolutions propres au secteur

public : L’institutionnalisation de l’évaluation des politiques publiques en Wallonie résulte du

processus de modernisation de l’action publique et des réformes inspirées par le New Public

Management. La troisième s’interroge sur l’évaluation en tant que réponse à une crise de

légitimité le l’action publique : L’institutionnalisation de l’évaluation des politiques publiques

en Wallonie résulte d’une crise de légitimité de l’action publique.

7

En guise de conclusion générale, nous ouvrirons le débat en mettant en évidence quelques

pistes de réflexion qui méritent d’être développées et en formulant un commentaire normatif

sur la situation wallonne en matière d’institutionnalisation de l’évaluation des politiques

publiques.

8

CHAPITRE 1 : PRÉSENTATION DES CONCEPTS

1. L’évaluation des politiques publiques

1.1. Définition

Dérivé du latin valutere, le terme « évaluation » est couramment utilisé dans le langage

quotidien. Il renvoie à différents usages qui désignent des activités comportant une dimension

de jugement de valeur. Comme le précise L. Jourdain, « le verbe « évaluer » est apparu dans

la langue française entre le XIIIe et le XIVe siècle, pour exprimer l'action de « porter un

jugement sur la valeur ou sur le prix d'une chose ». Par la suite, il a été alternativement

considéré comme synonyme d'expertiser, chiffrer, calculer, ou, au contraire, de fixer

approximativement « à vue d'œil » »2.

Lorsqu’on vise plus spécifiquement l’évaluation des politiques publiques, l’ambigüité des

termes et la diversité des usages ne disparaissent pas pour autant. L’évaluation des politiques

publiques apparait en effet comme un concept relativement flou, un objet dont les frontières

ne sont pas toujours faciles à tracer. « Si vous consultez cinq ouvrages de référence, vous

risquez d’y trouver cinq manières distinctes de définir l’évaluation et ses concepts »3. Les

multiples définitions « divergent selon les ambitions que nourrissent ses promoteurs qui,

souvent, se distinguent selon leur appartenance institutionnelle (élus politiques, responsables

administratifs, universitaires ou consultants privés) et leurs orientations disciplinaires

(économistes, juristes, politologues, médecins, psychologues, …) »4. À ce sujet, il est

remarquable de constater que la polysémie de l’expression n’a nullement constitué un

obstacle à sa diffusion et à son succès. Au contraire, il semble bien que l’équivocité soit une

des clés de sa réussite sociale. Ce que disaient L. Blondiaux et Y. Sintomer à propos du

concept de démocratie participative semble s’appliquer pour l’évaluation des politiques

publiques : « alors qu’une utilisation plus précise du terme obligerait à cerner les points

controversés et susciterait par contrecoup des rejets, conserver le flou permet que des acteurs

s’en revendiquent dans des perspectives très différentes et que des consensus faciles et

2 Jourdain L., « L’évaluation des politiques communautaires : légitimation et apprentissages nationaux », Cultures & Conflits, n° 28, 1997, p. 148. 3 Ridde V. et Dagenais C., « Introduction générale à l’évaluation de programme », in Ridde V. et Dagenais C. (dir.), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, p. 11.4 Jacob S. et Varone F. (4), « Points d’appui bibliographiques », in de Visscher C. et Varone F. ( eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, p. 134.

9

superficiels puissent ainsi s’établir »5. En fait, les ambiguïtés sont fonctionnelles et permettent

de rassembler, dans une certaine mesure, sous la bannière de l’évaluation des politiques

publiques des paradigmes différents qui reposent sur des perspectives épistémologiques

divergentes (positivisme Vs constructivisme), des ontologies parfois opposés (individualisme

Vs structuralisme), des méthodologies diverses et des finalités multiples.6

Dans ce contexte, tenter de définir l’évaluation des politiques publiques apparait comme une

gageure. Gageure que nous nous proposons, dans l’optique d’analyser l’institutionnalisation

de l’évaluation des politiques publiques, de surmonter en proposant une définition générale,

volontairement large, qui englobe les différentes conceptions et perspectives de l’évaluation.

Parmi les multiples définitions proposées dans la littérature7, nous retiendrons la définition

suivante :

« L'évaluation d'une politique consiste en une étude rigoureuse, basée sur des

méthodes scientifiques, visant à mesurer les effets de cette politique publique et à

porter un jugement de valeur sur ces effets en fonction des différents critères (par ex.

pertinence, efficacité, efficience, économie) »8.

Dans le cadre de ce mémoire9, cette définition parait satisfaisante à plusieurs égards. En effet,

elle met en évidence plusieurs traits distinctifs de l’évaluation qui permettent de la

différencier d’autres pratiques plus ou moins proches. En fait, la définition retenue présente

l’avantage de rencontrer les différents paradigmes, conceptions et usages de la notion tout en

circoncisant relativement clairement la signification que l’on entend lui donner. Ainsi, si la

définition est volontairement large, elle est également délibérément et clairement limitée.

1.1.1. Les politiques publiques comme objet de l’évaluation

L’évaluation existe dans toutes les sphères de la vie sociale : monde de l’éducation, vie

professionnelle, marchés économiques, activités sportives et culturelles,… Dans le cadre de

5 Blondiaux L. et Sintomer Y., « L’impératif délibératif », Politix, Vol. 15, N° 57, 2002, p. 27.6 Pour une schématisation des rapports existants entre les quatre champs constitutifs d’un paradigme en matière d’évaluation (épistémologie, ontologie, méthodologie et téléologie), voyez l’Annexe 1. 7 Voyez par exemple : Jabot, F. et Bauchet M., « Glossaire », in Ridde, V. et Dagenais C. (dir.), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, pp. 328-329 ; Weiss C., Evaluation: Methods for Studying Programs & Policies, Prentice Hall, New jersey, 2008, p. 4 ; Duran P., « L’évaluation des politiques publiques : une résistible obligation », Revue française des affaires sociales, n° 1-2, 2010, pp. 10-11 ; Rossi P. et al., Evaluation: a systematic approach, Sage Publications (7th ed.), 2004, p. 16. 8 Jacob S. et Varone F. (1), L’évaluation des politiques publiques au niveau fédéral : état des lieux et perspectives, Résultats d’une enquête réalisée dans le cadre du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2001, pp. 7-8. http://www.uclouvain.be/cps/ucl/doc/espo/documents/Evaluation_etat_des_lieux_au_niveau_federal.pdf.9 Et par conséquent, dans les enquêtes et les entretiens que nous avons menés.

10

ce mémoire, il n’est question que de l’évaluation des activités étatiques et plus

particulièrement des politiques publiques.

La polysémie du mot « politique » en français impose un effort de précision. Le terme

« politique publique » (dérivé de l’anglais public policy) est envisagé non pas pour désigner

l’ensemble des règles constitutionnelles et institutionnelles (polity) ni en tant qu’expression de

lutte pour le pouvoir (politics) ou en tant que domaine d’activité exprimant une préoccupation

permanente de l’Etat (telle que l’ensemble de la politique économique ou la politique

sociale)10 mais en tant que programme d’action publique qui constitue une « réponse du

système politico-administratif à un état de la réalité sociale jugé politiquement

inacceptable »11.

Ici encore, la littérature propose une multitude de définitions. Parmi les plus classiques, on

peut citer la définition proposée par J-C Thoening qui, souvent citée, semble constituer « une

bonne synthèse de l’abondante littérature »12 :

« Une politique publique est un programme d’action propre à une ou plusieurs

autorités publiques ou gouvernementales dans un secteur de la société ou dans un

espace donné »13

Plusieurs éléments constitutifs sont généralement attribués à une politique publique.14

Premièrement, une politique publique vise à résoudre un problème « reconnu politiquement

comme public »15. Par conséquent, « toute politique publique repose sur une logique d’action,

que celle-ci soit explicite ou implicite, sophistiquée ou simpliste, fondée sur des

connaissances factuelles ou sur une idéologie partisane »16. C’est cette logique d’action que la

politique tentera de mettre en œuvre pour résoudre le problème public. « Elle comprend des

hypothèses sur les causes supposées du problème sociétal que la politique cherche à résoudre

(quoi et/ou qui est responsable du problème collectif ?) et des hypothèses sur les mesures ou

instruments par lesquels l’État entend résoudre ledit problème (comment modifier le contexte

et/ou le comportement des responsables du problème ?) » »17. On « peut considérer une 10 Nioche J-P., « De l’évaluation à l’analyse des politiques publiques », Revue française de science politique, n° 1, 1982, pp. 32-61.11 Knoepfel P., Larrue C. et Varone F., Analyse et pilotage des politiques publiques, Verlag Rüegger (2è eds.), 2006, p. 25.12 Muller P., Analyse des politiques publiques, Que sais-je ?, PUF, Paris, 1990, p. 23.13 Mény Y. et Thoening J-C., Politiques Publiques, PUF, Paris, 1989, in Knoepfel P., Larrue C. et Varone F., Op. Cit., p. 28. 14 Pour une présentation plus détaillée, voyez : Knoepfel P., Larrue C. et Varone F., Op. Cit., pp. 31-35. 15 Ibid., p. 31.16 Varone F. (1), « L’évaluation comme démarche scientifique », in de Visscher C. et Varone F. ( eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, p. 32.17 Ibid., p. 32.

11

politique comme une construction théorique, au sens où elle implique une représentation a

priori des mesures mises en œuvre, du comportement des acteurs, de l’enchaînement des

mécanismes d’action et des effets produits sur la société »18. Dans ce cadre, l’évaluation

viendra tester différents éléments de cette théorie.

Deuxièmement, une politique publique a un public, c'est-à-dire des groupes cibles dont la

politique vise à orienter le comportement considéré comme étant à l’origine du problème

public.

Troisièmement, une politique publique se présente comme un ensemble d’actes et de

décisions (de toutes les étapes de l’action publique) qui forment un cadre général d’action qui

permet de dépasser le niveau d’une simple mesure isolée. Cet ensemble comprend des règles

générales et abstraites et des actes individuels et concrets.

Enfin, pour qu’une politique soit considérée comme publique, elle doit être prise par des

acteurs « appartenant au système politico-administratif, ou bien [par des] acteurs privés

investis de la légitimité de décider ou d’agir sur la base d’une délégation fondée sur une règle

juridique »19.

Conformément à ces développements, dans le cadre de ce mémoire, ne rentrent pas dans le

champ d’application de l’évaluation des politiques publiques, notamment, les évaluations de

personnels, les évaluations d’incidences sur l’environnement de projets particuliers, les

évaluations des décisions et activités prises par des acteurs privés, etc.

1.1.2. L’évaluation comme mesure des effets des politiques publiques

Idéalement, l’évaluation vise, avant tout, à isoler et à mesurer (ou du moins estimer le plus

rigoureusement possible) les effets propres (qu’ils soient voulus ou pervers, directs ou

indirects, induits à court ou à long terme, etc.)20 de la politique évaluée.

D’un point de vue pratique, il est difficilement envisageable de mettre à jour l’ensemble des

conséquences propres à une politique.21 En effet, les moyens manquent, ce n’est généralement

pas la volonté des commanditaires, les données utilisables font souvent défaut, les évaluateurs

s’inscrivent dans une perspective de recherche qui ne permet pas de donner à voir l’ensemble

de la réalité sociale, etc. En conséquence, il est nécessaire d’opérer une sélection sur les

18 Conseil Scientifique de l’Evaluation, Petit Guide de l’évaluation, La Documentation Française, Paris, 1996, p. 22.19 Knoepfel P., Larrue C. et Varone F., Op. Cit., p. 33.20 Varone F. (1), Op. Cit., p. 29.21 Duran P., Op. Cit., pp. 14-15.

12

aspects de la politique qui sont évalués. Cette sélection doit nécessairement être clairement

établie : « Il appartient aux exigences fondamentales de toute évaluation sérieuse d’indiquer

clairement quels effets sont saisis et appréciés, quels autres effets possibles ne seront pas

traités et pourquoi ces décisions sont prises »22.

La focalisation sur les effets n’implique pas forcément une évaluation par les objectifs où l’on

envisage les effets en fonction de leur adéquation avec les objectifs de la politique. En effet,

ceux-ci sont souvent définis de manière abstraite, formulés vaguement ou implicitement,

interprétés différemment selon les acteurs et peuvent évoluer sans révision explicite du

programme.23 En outre, en se braquant sur les objectifs légaux, l’évaluateur peut être amené à

négliger des effets non désirés qui peuvent se révéler plus importants que ceux qui étaient

initialement recherchés.24

Dans la pratique, il faut bien reconnaitre que bon nombre de rapports d’évaluation se

contentent d’une analyse de la mise en œuvre des politiques sans véritablement se soucier de

leurs effets. C’est pourquoi, dans notre analyse empirique, nous prendrons en considération

ces rapports même s’ils ne rentrent pas strictement dans le champ d’application de la

définition théorique que nous avons retenue.

En se concentrant sur l’analyse et l’appréciation de la mise en œuvre et des effets des

politiques publiques, l’évaluation des politiques publiques se différencie d’autres types

d’activités qui concourent à la conception, au pilotage et à l’amélioration des politiques

publiques : audit organisationnel25 (qui se concentre sur les processus internes à

l’administration), management par la qualité (qui s’intéresse avant tout aux besoins des

destinataires des politiques), inspection et activités de contrôle (qui se focalisent sur le respect

de la légalité), monitoring, médiation,… Bien entendu, des recoupements sont inévitables

mais ces différentes activités paraissent distinctement identifiables, ne serait-ce que par les

accents prioritaires qu’elles placent, voire par les différentes communautés professionnelles

qui s’y reconnaissent.26 Dire que ces activités sont différentes ne revient pas à affirmer

22 Klöti U., « Les exigences substantielles et méthodologiques de l’évaluation scientifique des politiques publiques », in Bussmann W., Klöti U. et Knoëpfel P. (eds) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, p. 44.23 Ainsi, l’évaluation de la politique de remembrement rural en Wallonie a dû tenir compte de l’évolution des objectifs : au-delà du souci de rationalisation et de productivité agricole, il a fallu intégrer des considérations environnementales importantes (ex : mise en place de haies qui favorisent la biodiversité et permettent de lutter contre les inondations).24 Klöti U., Op. Cit., p. 44-45.25 L’évaluation peut toutefois intégrer les résultats d’un audit mais elle ne doit pas se limiter à cela.26 Pour une présentation détaillée de différentes pratiques, voyez : Société Française de l’Évaluation, Voisinages : De la confusion à la complémentarité. Évaluation, audit de performance, pilotage de la performance, management par la qualité, Les Cahiers de la SFE, n° 4, 2009.

13

qu’elles sont antinomiques. En effet, ces différents instruments peuvent se révéler

complémentaires. A ce sujet, il semble que faire l’effort de bien les définir permette de mieux

les utiliser.

1.1.3. L’évaluation comme jugement de valeur

« L’évaluation est liée, de par le sens littéral du terme déjà, aux valeurs et à l’appréciation »27.

L’évaluation ne se limite pas à mesurer les effets d’une politique, elle implique également la

formulation d’un jugement de valeur sur ces effets. En effet, une évaluation qui se contente de

décrire les performances d’une politique sans juger si ces performances sont satisfaisantes,

n’est pas véritablement une évaluation.28

Ces jugements sont normalement énoncés sur base de critères qui, idéalement, sont rendus

explicites et sont discutés publiquement ou, à tout le moins, entre évaluateur et

commanditaire. En effet, des appréciations de l’action publique établies sur base de

représentations normatives incertaines de l’évaluateur ne contentent pas les exigences de

l’évaluation.29 Ainsi, les questions d’évaluation sont associées, au moins implicitement, à

différents critères à travers lesquels la performance de la politique pourra être jugée.30 P.

Knoepfel, C. Larrue et F. Varone distinguent cinq critères d’évaluation : la pertinence,

l’effectivité, l’efficacité, l’efficience allocative et l’efficience productive (pour une

présentation de ces critères, voyez l’Annexe 2).31

1.1.4. L’évaluation comme une démarche scientifique intégrée dans un dispositif

politique

L’évaluation se présente comme une démarche scientifique qui vise à identifier les effets

directement imputables à la politique évaluée et donc à les distinguer de ceux qui relèvent de

facteurs contextuels.32 Le caractère scientifique33 de l’évaluation réside dans le recours aux

méthodes et aux techniques des sciences sociales. « En cela, la recherche évaluative se

distingue de l’évaluation de sens commun pratiquée par la plupart des acteurs sociaux ou

27 Klöti U., Op. Cit., p. 42.28 Rossi P. et al., Op. Cit., p. 74.29 Klöti U., Op. Cit., p. 43. 30 Rossi P. et al., Op. Cit., p. 73. 31 Knoepfel P., Larrue C. et Varone F., Op. Cit., pp. 250-261. 32 Varone F. et Magdalijns C., « L'évaluation des politiques publiques en Belgique : Théorie, pratiques et défis », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, p. 56.33 Le caractère scientifique de l’évaluation n’est pas unanimement reconnu dans la littérature. Des auteures telles que Ridde V. et Dagenais C. se refusent à utiliser le terme « scientifique » en parlant de l’évaluation. Selon nous, ce refus résulte du fait que certains auteurs accordent à la science (ou considèrent que la société accorde à la science) un statut d’objectivité et de supériorité que nous nous refusons de lui octroyer.

14

encore des évaluations de programmes superficielles et impressionnistes qui ne reposent pas

sur l’utilisation de méthodes éprouvées »34. Si nous considérons que l’évaluation des

politiques publiques revêt un caractère scientifique, il nous faut préciser que, dans la

perspective qui est la nôtre, il ne s’agit nullement de prétendre que l’évaluateur s’apparente à

un nouveau Moïse à qui se découvre la réalité du monde et qui distille une science révélée,

définitive et étrangère au contexte social et historique.35 Dans la lignée de différents

philosophes des sciences, nous estimons que la science est une activité ancrée dans le social,

faillible et discutée. Nous souscrivons à une conception de la science qui est démystifiée de

ses absolus. Pour autant, il n’est pas ici question de dénigrer les pratiques scientifiques mais

plutôt de les considérer comme des pratiques concrètes de créativité humaine correspondant à

des contextes particuliers et répondant à des objectifs variés.36 Dans cette perspective,

« l'effort de rigueur ne peut avoir pour ambition de produire une vérité unique sur la réalité

sociale, mais « seulement » une représentation légitime, crédible et utile de cette réalité »37.

Toutefois, l’évaluation de politiques publiques se différencie nettement des activités de

« recherche pure par sa prise en compte explicite et a priori de finalités normatives et

instrumentales »38. Certes, la recherche, même fondamentale, n’est pas exempte du contexte

social dans lequel elle s’inscrit.39 Il n’en demeure pas moins que les chercheurs revendiquent

une position d’autonomie par rapport au politique. En dépit des critiques formulées par

certains chercheurs à l’encontre de l’adhésion des autorités politiques et académiques à une

politique de recherche qui se perd dans une fuite en avant vers des « savoirs étroitement

utilitaristes dominés par l’économisme et le technologisme »40, cette autonomie se traduit dans

la liberté de choix des thèmes de recherche et des grilles d’interprétation. « Dans le cadre de

l'évaluation, au contraire, [l’évaluateur], sans renoncer aux exigences méthodologiques de sa

discipline, accepte d'être intégré dans un dispositif et de considérer comme pertinentes (quitte

à les discuter ou les reformuler) les questions et valeurs de référence d'un commanditaire

politique »41. En ce sens, l’évaluation est une activité politique ou, pour le dire autrement, une

34 Lemieux V., « Évaluation de programmes et analyse des politiques », Télescope, Vol. 13, n° 1, 2006, p. 3.35 Prigogine I. et Stengers I., La Nouvelle Alliance, Métamorphose de la Science, Gallimard, Paris, 1979, p. 88 in Luyckx M., « Le rôle de l’expert : participer au réenchantement du monde », Reflets et perspectives, 2002, p. 92.36 Fourez G., La construction des sciences, De Boeck Université, Bruxelles, 1996, pp. 71-72. 37 Perret B. (1), « Évaluation, gouvernance et procéduralisation de l’expertise », Intervention au séminaire sur « Les mutations contemporaines de l'art de gouverner » organisé par la Cellule de prospective de la Commission européenne, Bruxelles, 27 mars 1996.38 Conseil Scientifique de l’Evaluation, Op. Cit., p. 5.39 Voyez tous les développements de la sociologie des sciences.40 Stevens A., « Pourquoi je démissionne de l’université après dix ans d’enseignement », lettre au Pr. Bernard Rentier Recteur de l'Université de Liège, janvier 2012. 41 Conseil Scientifique de l’Evaluation, Op. Cit., p. 5.

15

activité qui s’inscrit dans un processus d’initiative politique (au sens large) et susceptible

d’influencer les choix politiques. La politique et la science sociale constituent des aspects

constitutifs de l’évaluation des politiques publiques.42

La double dimension (scientifique et politique) que revêt l’évaluation ne peut nullement faire

préjuger de la nature des rapports entre expertise et décision. En effet, selon le rôle accordé à

l’évaluation, les interactions entre expertise et décision peuvent sensiblement varier. En tout

état de cause, on ne peut a priori réduire l’évaluation à un exercice technocratique (ou

démocratique). L’évaluation est un construit humain, politique et culturel, dont la nature ne

s’expose pas a priori mais ne se dévoile qu’à la suite d’une analyse empirique.

1.2. Approches, designs et méthodes   : trois éléments structurants 43

1.2.1. Les approches évaluatives

L’approche évaluative a trait aux relations qui se nouent entre l’évaluateur et les parties

prenantes44. Elle touche fondamentalement à la question de leur participation dans le

processus évaluatif. A ce sujet, on différencie généralement les approches technocratiques des

approches participatives. Les différentes approches évaluatives constituent un domaine de

recherche très fécond et très discuté.45

1.2.2. Les designs de recherche

Le design est « le noyau conceptuel d’une évaluation »46. Il touche à la question de la

construction de la démarche de recherche, à l’heuristique et la stratégie de recherche mise en

place. Concrètement, il s’agit de savoir quelles sont les modalités de traitement empiriques

des questions évaluatives. « Le design de recherche doit tout spécialement déterminer la

« mécanique » du projet (soit les rapports supposés entre les variables explicatives et à

expliquer), présenter et fonder le concept d’analyse ainsi que définir les indicateurs retenus

42 Greene C. J. et McClintock C., « The Evolution of Evaluation Methodology », Theory into Practise, Vol. 30, n° 1, 1991, p. 13. 43 Pour une présentation détaillée de ces trois éléments, voyez l’Annexe 3.44 Dans une perspective large, les stakeholders sont les individus pour qui les résultats de l’évaluation présentent un intérêt particulier. Patton M., et La Bossière F., « L’évaluation axée sur l’utilisation », in Ridde, V. et Dagenais, C., (dir), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, p. 146. Concrètement, il s’agit essentiellement du commanditaire, de l’évaluateur, des autorités politico-administratives chargées de la mise en œuvre, des groupes cibles, des bénéficiaires finaux et des groupes tiers.45 Voyez quelques typologies en matière d’approche évaluative à l’Annexe 4.46 Balthasar A., « Les étapes du travail », in Bussmann W., Klöti U. et Knoepfel P. (eds.) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, p. 177.

16

pour saisir concrètement les variables »47. Globalement, on distingue trois types de design : les

expérimentations, les quasi expérimentations et les études de cas.

1.2.3. Les méthodes évaluatives

Les méthodes évaluatives concernent les procédés de collecte et d’analyse des données

développés par les sciences sociales (entretiens, focus group, enquêtes par questionnaire,

analyses documentaires, analyses de contenu, analyse statistique, etc.). À ce sujet, on

distingue généralement les méthodes quantitatives des méthodes qualitatives.48

1.3. Les finalités de l’évaluation

La littérature consacrée à l’évaluation propose couramment des typologies basées sur la

finalité des évaluations. Dans de nombreux cas, ces finalités sont présentées comme étant

inconciliables et contradictoires. Ainsi, on oppose classiquement les évaluations sommatives

de bilan qui ont pour but de générer une appréciation globale et distanciée aux évaluations

formatives de développement qui visent à l’amélioration des pratiques de mise en œuvre du

programme.49 Dans une autre optique, on oppose également les évaluations dites managériales

qui cherchent à améliorer l’efficacité des décisions publiques des évaluations démocratiques

davantage centrées sur la légitimité de celles-ci.50 A l’instar de B. Perret, nous considérons

plutôt que l’ « on peut imputer à l'évaluation une pluralité de finalités, qui peuvent avoir une

importance différente suivant les cas mais qui ne sont nullement incompatibles »51. Il n’en

demeure pas moins utile de distinguer ces différentes finalités. Nous en avons identifié trois

grands types :

Finalité d’accountability : il s’agit de rendre compte aux responsables politiques ainsi

qu’aux citoyens de la manière dont une politique publique a été mise en œuvre et des

résultats qu’elle a pu obtenir. De cette manière, l’évaluation s’inscrit non seulement dans

la continuité des modes classiques de contrôle mais favorise également la transparence et

la légitimité de l’action publique.

47 Klöti U. et Widmer T., « Les designs de recherche », in Bussmann W., Klöti U. et Knoepfel P. (eds.) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, p. 181.48 Widmer T. et Binder H-M, « Les méthodes de recherches », in Bussmann W., Klöti U. et Knoepfel P. (eds.), Op. Cit., pp. 207-243.49 Ridde V. et Dagenais C., Op. Cit, p. 19.50 Matyjasik N., L’évaluation des politiques publiques dans une France décentralisée. Institutions, marché et professionnels, Thèse de doctorat, Université Montesquieu Bordeaux IV, 2010, pp. 75-82.51 Perret B. (1), Op. Cit.

17

Finalité managériale. Dans ce cadre, l’évaluation, en ce qu’elle apporte une connaissance

sur les effets et formule des recommandations, apparait comme un outil permettant

d’améliorer l’efficacité et la qualité des politiques publiques.52

Finalité réflexive. Dans cette perspective, l’évaluation apparait comme un dispositif

d’apprentissage à travers lequel la société se donne les moyens de se connaitre elle-

même.53 Elle consiste en un effort pour rendre plus conscients et réflexifs les processus

d’interactions et de connaissances qui produisent les politiques publiques.54 Ainsi,

l’évaluation peut « contribuer à la formation et à la mobilisation des agents publics et de

leurs partenaires en les aidant à comprendre les processus auxquels ils participent et à s'en

approprier les objectifs »55. Certains auteurs vont plus loin en considérant que l’évaluation

peut également permettre le développement des capacités d’action et l’émancipation des

individus qui y participent.56

2. L’institutionnalisation de l’évaluation des politiques publiques

2.1. Définition

De multiples définitions des institutions existent. Dans le cadre de ce mémoire nous avons

retenu la définition suivante : les institutions consistent en des organisations, des structures,

des règles formelles ou informelles qui fournissent aux acteurs des cadres d’action

relativement stables et censés assurer une certaine prévisibilité de leur comportement

réciproque et, par conséquent, du résultat de l’action collective.57

L’institutionnalisation correspond donc au processus de constitution et de transformation de

ces organisations, structures, règles formelles ou informelles. Dit autrement,

l’institutionnalisation peut être entendue comme « les dynamiques par lesquelles les règles et

les procédures apparaissent, se développent au point de constituer un espace social et

52 Il convient de noter que la finalité managériale ne s’oppose pas à des formes participatives d’évaluation des politiques publiques. Dans cette optique, la participation des parties prenantes, en ce qu’elle encourage l’acceptation des résultats (dimension procédurale) et qu’elle favorise l’expression d’un éclairage nouveau sur la situation (dimension substantive) n’est pas l’ennemie de l’efficacité. 53 Jacob S. (1), Institutionnaliser l’évaluation des politiques publiques. Étude comparée des dispositifs en Belgique, en France, en Suisse et aux Pays-Bas, Peter Lang, Bruxelles, 2005, p. 108.54 Perret B. (2), « Institutionnalisation et enjeux éthiques de l’évaluation des politiques publiques », Louvain-La-Neuve, conférence du 3 mars 2011. 55 Conseil Scientifique de l’Evaluation, Op. Cit., p. 6.56 Voyez : Fetterman D., « Empowerment Evaluation », American Journal of Evaluation, n° 15, 1, 1994, pp. 1-15.57 Cette définition s’inspire librement de Jacob S. (3), « L’institutionnalisation de l’évaluation des politiques publiques en Belgique : entre balbutiements et incantations », Res Publica, Vol. 4, 2004, p. 514.

18

produisent en définitive des comportements chez les acteurs qui les ont générées et/ou

intégrées »58.

Conformément aux différentes approches néo-institutionnalistes59, nous nous accordons à ne

pas considérer les institutions uniquement d’un point de vue organique comme des formes

organisationnelles. Nous reconnaissons que les institutions constituent non seulement « des

structures et des règles formelles, explicites et généralement formalisées juridiquement [mais

aussi] des normes informelles, implicites mais partagées par les membres d’une

communauté »60. Il s’agit là d’un point particulièrement important en ce qui concerne

l’évaluation des politiques publiques. En effet, le réflexe évaluatif peut être présent (par

exemple au sein d’une administration) sans qu’il n’existe nécessairement « de matérialisation

par des organismes formels ou par des clauses d'évaluation explicitement ancrées dans les

législations à évaluer »61. S. Jacob va dans ce sens lorsqu’il affirme que « que lorsque les

acteurs mettent en place des règles ou des pratiques informelles, ils concourent […] à la

stabilité de la pratique évaluative »62. Par ailleurs, si l’institutionnalisation s’accompagne

généralement d’une reconnaissance officielle, les institutions n’intéressent pas uniquement les

enceintes étatiques mais concernent également les réseaux d’acteurs qui contribuent à la

pratique évaluative (ex : société d’évaluation).

En nous attachant à ces dynamiques institutionnelles, nous chercherons à identifier les

processus de cristallisation de cadres organisationnels (ex : création de cellules

administratives dédiées à l’évaluation), réglementaires (ex : clause évaluative), normatifs (ex :

élaboration de normes professionnelles) et cognitifs (ex : diffusion de méthodes ou

d’approches évaluatives) à l’œuvre en Wallonie. Ces éléments recouvrent la définition de

l’institution fournie par W. R Scott pour lequel les « Institutions consist of cognitive,

normative, regulative structures and activities that provide stability and meaning to social

behaviour ».63

58 Lascoumes P. et Le Galès P., Sociologie de l’action publique, Armand Colin, Paris, 2007, p. 98 in Matyjasik N., Op. Cit., p. 34.59 Pour une présentation et une comparaison particulièrement éclairante de ces écoles, voyez : Hall P. A. et Taylor R. C.R., « La science politique et les trois néo-institutionnalismes », Revue française de science politique, Vol. 47, n° 3, 1997, p. 486.60 Knoepfel P., Larrue C. et Varone F., Op. Cit, p. 104.61 Jacob S. et Varone F. (3), L’institutionnalisation de l’évaluation des politiques : expériences étrangères et scénarios pour la Belgique, Troisième rapport intermédiaire du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2002, p. 13. http://www.uclouvain.be/cps/ucl/doc/espo/documents/Experiences_etrangeres_et_scenarios_pour_la_Belgique.pdf62 Jacob S. (2), « La volonté des acteurs et le poids des structures dans l’institutionnalisation de l’évaluation des politiques publique », Revue française de science politique, Vol. 55, n° 5-6, 2005, p. 889.63 Scott W. R., Institutions and Organizations, Sage, Thousand Oaks, 1995, p. 33.

19

3. Conclusions

Une multitude de définitions des concepts d’« évaluation des politiques publiques » et

d’« institutionnalisation » existent. Nous en avons retenues deux en cherchant à nous inscrire

dans une perspective empirique. En effet, ces deux définitions visent à délimiter le champ des

activités que nous allons prendre en compte dans notre analyse. Bien entendu, même en étant

définis, il ne sera pas toujours évident de faire coïncider concepts et pratiques effectives. Dans

notre travail de recensement des évaluations nous ne pourrons pas éviter de commettre

quelques entorses à la définition de l’évaluation des politiques publiques. Ainsi, nous

prendrons en considération des rapports qui se présentent comme des évaluations mais qui

constituent avant tout des analyses de mise en œuvre qui se soucient peu des effets. De la

même manière, nous traiterons d’évaluations qui ne sont pas véritablement des évaluations de

politiques publiques (ex : évaluations de contrat de gestion). Quoi qu’il en soit et dans la

mesure du possible, les définitions que nous avons présentées guideront nos analyses

empiriques. Si nous ne les respecterons pas toujours à la lettre, c’est que nous l’estimerons

utile pour éclairer le cas wallon.

Le prochain chapitre sera consacré à l’institutionnalisation de l’évaluation des politiques

publique en Wallonie. Après une présentation historique du processus d’institutionnalisation,

nous nous attacherons à mesurer, à partir de différents dimensions et indicateurs, l’état de la

pratique évaluative en Wallonie. Sur cette base, nous nous intéresserons, dans un troisième

chapitre, à l’analyse de trois facteurs potentiels d’institutionnalisation de l’évaluation en

Wallonie à savoir l’européanisation de l’action publique, la modernisation administrative

inspirée du New Public Management (NPM) et la crise de légitimité de l’action publique.

20

CHAPITRE 2   : MESURER L’INSTITUTIONNALISATION DE L’ÉVALUATION DES POLITIQUES PUBLIQUES EN WALLONIE

1. Histoire de l’institutionnalisation de l’évaluation

1.1. Au niveau international

H-U Derlien identifie deux grandes vagues d’institutionnalisation de la pratique évaluative sur

le plan international.64 Plus récemment, Vedung a affiné le modèle en distinguant quatre

vagues de diffusion de l’évaluation. Chaque vague, poussée par des vents différents, a déposé

sa propre couche de sédiments pour former le paysage de l’évaluation.65 Sa conceptualisation

fait en partie, mais pas totalement, écho aux célèbres quatre générations d’évaluation

identifiées par Guba et Lincoln.66 Dans la mesure où le modèle de Vedung est davantage porté

sur les processus d’institutionnalisation que celui de Guba et Lincoln, nous nous référerons

essentiellement à lui. Cette conceptualisation en quatre vagues présente un indéniable intérêt

chronologique et de compréhension globale. Toutefois, il apparait que chacune des vagues

emporte des différences importantes et charrie des dynamiques propres à certains pays ou

régions.

La première vague (the scientific wave) prend forme aux États-Unis dans les années 60 au

moment des programmes sociaux sous les présidences de Kennedy et surtout de Johnson.67

Elle correspond largement à la deuxième génération d’évaluation identifiée par Guba et

Lincoln.68 La volonté était, dans une période d’expansion économique, de véritablement

transformer la société en améliorant rationnellement la gestion des affaires publiques. Les

politiques étaient envisagées comme de simples moyens d’action destinés à résoudre les

problèmes sociaux. Dans cette perspective, les techniques scientifiques permettaient de

dépasser les enjeux idéologiques et les luttes partisanes. « Through the use of research and

science-like analysis, sensible and long-term policies should significantly affect, if not

completely replace, the short-term games between parties and interest groups, who by means

64 Derlien H-U., « Le développement des évaluations dans un contexte international », in Bussmann W., Klöti U. et Knoepfel P. (eds) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 5-6.65 Vedung E., « Four Waves of Evaluation Diffusion », Evaluation, n° 16, 2010, pp. 263-277. 66 Guba E. G. et Lincoln Y. S., Fourth Generation evaluation, Sage Publications, 1989.67 « Program evaluation came into its own as a tool of rational policymaking for the War on Poverty and the Great Society programs of Presidents Kennedy and Johnson. Scientifically based evaluations were intended to supplant less systematic means of decision making and to contribute to the rational management of public sector programs ». Greene C. J. et McClintock C., Op. Cit., p. 15.68 La première génération correspond à une simple mesure et présentation de scores. Elle ne rentre pas dans le champ d’application de notre définition de l’institutionnalisation de l’évaluation des politiques publiques.

21

of rules of thumb, passing fancies and anecdotal knowledge attempt to muddle through

societal problems »69. Les évaluations menées dans ce cadre privilégiaient une approche

technocratique, un design expérimental et des méthodes quantitatives. A l’instar des États-

Unis, la Suède, le Royaume-Uni, le Canada et l’Allemagne ont également été pris par cette

première vague. Un mix de différents éléments aurait permis de créer au sein de ces quelques

pays pionniers une pression interne en faveur d’un processus d’institutionnalisation de

l’évaluation : une valorisation des attitudes rationnelles, une ouverture du système politico-

administratif aux innovations et aux recherches en sciences sociales, une croyance dans la

capacité de l’État à diriger la société, un agenda politique dominé par des plans sociaux et

éducatifs dans les années 60-70, etc.70 Ce rationalisme a fait l’objet de nombreuses critiques à

partir des années 70 qui ont été à la base de la seconde vague. Celles-ci portaient notamment

sur son indéfectible attachement au dogme de l’objectivité scientifique, son manque d’intérêt

pour le contexte d’étude, sa forte dépendance aux données chiffrées, son échec à considérer la

pluralité des valeurs et la faible utilisation par les décideurs des évaluations produites.71

La deuxième vague (the dialogued oriented wave) émerge au tournant des années 70-80 et

touche essentiellement les pays emportés par la première vague mais dont les premiers essais

se sont soldés par des désillusions. La confiance envers les designs expérimentaux s’est

effritée et on a alors insisté sur le fait que les évaluations doivent pouvoir intégrer différents

stakeholders de la politique publique. « The science-inspired movement soon ran into

demands for more stakeholder involvement and dialogue and communication among

concerned stakeholders, interest groups and citizens »72. Dans ce cadre, on a mis en place des

évaluations davantage fondées sur le dialogue avec les différentes parties prenantes.

Parallèlement, fin des années 70 et début des années 80, la troisième vague (the neo-liberal

wave) de diffusion de l’évaluation prend forme. Elle concerne différents pays engagés dans

des réformes économiques de type néolibérales et des réformes administratives inspirées par

le New Public Management (NPM) (ex : Grande-Bretagne, Pays-Bas, Norvège). Dans un

climat de crise économique, les évaluations − dites managériales − étaient souvent liées à des

considérations budgétaires de réduction des déficits et de justification de programmes de

réformes existants. Ce mouvement s’est très largement orienté vers la question des outputs de

69 Vedung E., Op. Cit., p. 265.70 Furubo J-E and Rist R., « A diffusion Perspective on Global Developments in Evaluation », in Furubo J-E, Rist R. C., Sandhal R., International Atlas of evaluation, Transaction Publishers, New Brunswick, 2002, pp. 12-16. 71 Leca J., « Le rôle de la connaissance dans la modernisation de l’Etat », Revue française d’administration publique, n°66, 1993, p. 195.72 Vedung E., Op. Cit., p. 270.

22

l’activité gouvernementale, souvent au détriment de celle de ses effets réels (outcomes).73

« Au lieu d’élaborer des programmes plus efficaces, l’enjeu consiste maintenant plutôt à

discerner les programmes inefficaces, voir inefficients, et, par là, à parvenir à légitimer les

réductions de budgets »74.

Enfin, une quatrième vague (a forced diffusion) d’institutionnalisation de l’évaluation est

apparue à partir du début des années 90. Elle concerne un plus grand nombre de pays – dont

beaucoup font partie de l’Union européenne – que les premières vagues.

L’institutionnalisation de l’évaluation serait en premier lieu expliquée par des pressions

externes portées par des organisations internationales dont principalement la Banque

Mondiale, l’OCDE et l’Union européenne. Ainsi, « the building of institutional evaluation

structures in countries like Ireland, Spain Italy, or Finland has been driven by the pressure

from European Union »75.

1.2. En Wallonie 76

Depuis le dernier tiers du vingtième siècle, une littérature foisonnante a mis en évidence les

mutations subies par les États-nations à travers les concepts de gouvernance (multi-acteurs et

multi-niveaux), post-fordisme, crise de l’état providence, territorialisation et

contractualisation de l’action publique, etc. Nombre de ces travaux reconnaissent l’émergence

et/ou la consolidation du fait régional avec le développement des processus de

décentralisation qui tendent à déléguer certaines compétences vers des entités

géographiquement plus restreintes. Ce mouvement « vers le bas » répond à de nombreuses

évolutions et préoccupations que nous ne détaillerons pas ici : exigence de développer des

politiques au plus proche des citoyens, prise en considération des spécificités locales,

reconnaissances identitaires, déclin des idéologies universalisantes, etc. « Au-delà de ce

processus de régionalisation, l’idée que les politiques se devaient de s’adapter aux spécificités

locales ou régionales pour espérer atteindre un niveau satisfaisant de performance s’est

imposée »77. L’émergence d’entités politiques infranationales dotées de compétences propres

s’est accompagnée, sous l’influence de différents facteurs78, de la mise en place, dans nombre

de collectivités décentralisées, de structures d’évaluation des actions menées. La Wallonie

73 Derlien H-U, Op. Cit, p. 6.74 Ibid., p. 8.75 Furubo J-E and Rist R., Op. Cit., p. 17.76 Pour un tableau récapitulatif de l’historique de l’institutionnalisation en Wallonie, voyez l’Annexe 5.77 Genard J-L. et Jacob S., « Évaluation et territorialisation de l’action publique », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, p. 18.78 Certains facteurs seront analysés pour le cas wallon dans le troisième chapitre de ce mémoire.

23

semble pleinement s’inscrire dans ce processus. Avant de sonder plus en avant les raisons qui

expliquent l’institutionnalisation de l’évaluation des politiques publiques en Wallonie, nous

allons retracer les grands traits de son histoire. Cette dernière peut être découpée en trois

phases.

1.2.1. La phase règlementaire

La phase règlementaire correspond à une période durant laquelle le développement de

l’évaluation résultait essentiellement de prescriptions européennes. Dès 1988, l’Union

européenne a adopté des règlements qui instituent une obligation d’évaluation des

programmes financés par les fonds structurels pour la période 1989-1993. « Toutefois, les

évaluations réalisées n’ont pas été systématiques ni de très grande qualité malgré cette

contrainte et les efforts déployés au niveau de la Commission pour en faire la promotion »79. Il

s’avère que l’institutionnalisation de l’évaluation des politiques publiques n’a véritablement

démarré qu’à partir de la période suivante. D’une part, le Conseil européen d’Edimbourg du

12 décembre 1992 a décidé, pour la période 1994-1999, d’une augmentation substantielle des

crédits réservés aux actions structurelles de l’Union faisant d’elles un enjeu primordial et un

des postes de dépenses les plus importants du budget communautaire. D’autre part, les

nouveaux règlements liés aux fonds structurels ont considérablement renforcé les exigences

en matière d’évaluation. La réglementation a formalisé, pour les autorités nationales et

régionales, une obligation d’évaluation systématique des programmes avant, pendant et après

leur mise en œuvre.80 La Wallonie est directement concernée par ces règlements dans la

mesure où le Hainaut est éligible aux fonds structurels dans le cadre de l’ « objectif 1 ». Ceci

constitue sans doute le véritable point de départ du développement de l’évaluation. Dans le

même temps, la Région s’est engagée dans un processus de diffusion de l’évaluation. En effet,

les 12 et 13 novembre 1993, le Ministre-Président wallon de l’époque consacre, dans le cadre

de la Présidence belge de l’Union européenne, un Conseil informel « Politique régionale et

aménagement du territoire » à la problématique de l’évaluation.81 Dans sa note introductive, la

présidence wallonne précisait que « quoique de pratique ancienne, l’évaluation est entrée au

cours de ces dernières années dans une nouvelle phase de développement. Elle devient

l’instrument privilégié par lequel les responsables des politiques publiques jugent de

79 Monnier É. (2), « État des pratiques d’évaluation dans les pays européens », in de Visscher C. et Varone F. (eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, p. 57.80 Agarkow J.-M. et Vandendorpe L., « L’évaluation des politiques publiques en Wallonie », in Destatte P. (dir.), Evaluation, prospective et développement régional, Charleroi, Institut Jules Destrée, 2001, p. 84.81 Ibid., p. 84.

24

l’adéquation des mesures prises afin d’atteindre certains objectifs spécifiques et de l’efficacité

des interventions. […] Le fait nouveau en la matière réside dans la tendance vers une

systématisation de l’évaluation »82. Cela ne signifie pas que rien n’était réalisé en matière

d’évaluation en Wallonie avant le début des années 90 mais, comme le souligne L.

Vandendorpe, que les préoccupations qui préexistaient dans les administrations wallonnes

étaient extrêmement limitées et ne concernaient que des projets isolés (les administrations

pouvaient évaluer des projets liés à leurs compétences), selon des méthodologies hétérogènes,

souvent implicites et sous la supervision d’instances peu formalisées.83 Les nouveaux

règlements européens introduisent plusieurs innovations majeures. D’abord, ils emportent une

obligation de rendre explicites les critères et procédures d’évaluation. C’est dans ce contexte

que la Commission européenne va lancer le programme MEANS (Méthodes d’évaluation des

actions de nature structurelle), qui vise à développer et à harmoniser les méthodes

d’évaluation des programmes structurels dans les États membres.84 Ensuite, « la Commission

européenne a également imposé que les évaluations régionales soient réalisées par des

évaluateurs indépendants, entendus comme des « prestataires » extérieurs désignés après une

procédure d’appel d’offre »85. Enfin, les règlements européens ont initié une

institutionnalisation des instances d’évaluation. Dans ce cadre, la Région wallonne a conçu un

modèle d’évaluation en continu à travers la mise en place de comités d’accompagnement et de

suivi chargés de discuter systématiquement de l’état d’avancement et des résultats des

évaluations menées.86

Du côté de la société civile, la dynamique « La Wallonie au futur », initiée par l’institut

Destrée, réunit plusieurs milliers de citoyens depuis 1987 lors de différents exercices de

prospective territoriale. En 1997 et 1998, la notion d’évaluation trouve sa place dans cette

démarche et émerge, aux côtés de celles de prospective et de contractualisation, comme un

outil innovant de gouvernance, décrit comme porteur en termes stratégiques.87 Le Congrès de

1998 concluait à la nécessité de promouvoir une culture de l’évaluation au sein de la Région

et préconisait notamment la création d’une Société wallonne de l'Évaluation.

82 Discours de Guy Spitaels.83 Vandendorpe L. (1), « De l’évaluation des politiques régionales à une politique régionale de l’évaluation en Wallonie », in de Visscher C. et Varone F. (eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, p. 69.84 Vandendorpe L. (1), Op. Cit., p. 69.85 Vandendorpe, L. (2), « L’institutionnalisation de l’évaluation en Région Wallonne », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, p. 10686 Ibid., p. 107.87 Destatte P., « La nouvelle gouvernance en Wallonie : les parties prenantes au cœur même de la conception de l'évaluation », Quatrièmes journées françaises de l'évaluation, Lille, 5 juin 2002.

25

1.2.2. La phase d’appropriation

La phase d’appropriation prend place durant la période 1999-2004. Cette phase correspond à

« un développement important de l’évaluation et l’expérimentation de nouvelles méthodes ». 88 Cette période a vu non seulement progresser les pratiques d’évaluation dans le cadre des

Fonds structurels mais a également été le témoin d’une extension des exercices d’évaluation à

d’autres sphères d’activités (particulièrement dans le domaine économique). Les

développements institutionnels les plus essentiels de cette phase sont la création de la Société

Wallonne d’Évaluation et de Prospective (SWEP) et l’adoption du « Contrat d’Avenir pour la

Wallonie » (CAW).

Dans la foulée du Congrès de 1998, « l'Institut Jules-Destrée a activé une dynamique de

formation et de benchmarking (étalonnage ou parangonage) pour s'approprier un minimum

d'expertise, au moins théorique, dans le domaine de l'évaluation et se confronter aux acteurs

de terrain : EES, SFE, C3E, SCE, SQEP, AES, IOCE, UKES, etc., toute cette cabalistique

pour évaluateur averti »89. Ce processus se concrétise, le 24 novembre 1999, par une première

rencontre entre différents acteurs (chefs d'entreprises, fonctionnaires, consultants, élus,

responsables d'associations, chercheurs) en vue de construire un socle commun d’expertise et

d’esquisser les contours des statuts et de la charte fondatrice de la future Société Wallonne de

l’Évaluation et de la Prospective (SWEP).90 Le 3 mars 2000, l'Institut J. Destrée organise un

colloque sur l'évaluation au niveau régional qui ouvre un dialogue entre experts

internationaux et acteurs locaux.91 Ces différentes réflexions et initiatives aboutissent à une

approbation des statuts de la SWEP le 29 avril 2000. Comme le précise l’article 2, l’objet

social de la SWEP « est le développement de la prospective et de l’évaluation en Wallonie,

afin d’améliorer la qualité des processus décisionnels en général, et de développer en

particulier la participation démocratique aux réflexions et décisions publiques »92. La SWEP

ne réalise donc pas de travaux d’évaluation mais entend promouvoir le développement de

celle-ci. Par ailleurs, la Charte de la SWEP s’inscrit résolument dans les exigences de bonne

gouvernance et déploie une vision participative de l’évaluation.93

Parallèlement, l’élaboration du Contrat d’Avenir pour la Wallonie (CAW) par le

Gouvernement arc-en-ciel fraichement élu, marque une étape importante dans

88 Vandendorpe, L. (2), Op. Cit., p. 108.89 Destatte P., Op. Cit., p. 4.90 Ibid., p. 4.91 Jacob S. et Varone F. (3), Op. Cit., p. 103.92 Ibid., p. 103.93 Les statuts et la charte de la SWEP sont disponibles sur le site : http://www.la-swep.be

26

l’institutionnalisation de l’évaluation des politiques publiques en Wallonie. Le CAW, adopté

en mars 2000, constitue une stratégie d’action pour le développement de la Wallonie. Il

repose sur quatre priorités et dix principes communs parmi lesquels on retrouve l’évaluation

des politiques publiques. En effet, le septième principe du CAW préconise la formation d’une

véritable culture de l’évaluation qui permettrait d’atteindre plusieurs objectifs : « une plus

grande efficacité dans l’utilisation des instruments de politique régionale, une plus grande

visibilité de l’action du Gouvernement wallon au sein de la population, de plus amples marges

de manœuvre provenant de la suppression de dépenses inutiles, et la prise de conscience au

sein de la population d’une réelle volonté de faire changer les choses et, par conséquent, une

mobilisation accrue des acteurs sociaux »94. Ainsi, le CAW, qui sera lui même évalué,

témoigne d’une volonté politique de faire de la démarche évaluative un élément structurel du

développement régional, au cœur de la nouvelle gouvernance. L’évaluation externe du CAW

a été confiée à un consultant privé (Deloitte et Touche) qui a rendu son premier rapport en

janvier 2001.

C’est ainsi que la Région Wallonne a pu s’approprier l’instrument évaluatif qui n’est plus

uniquement appréhendé comme une obligation réglementaire externe mais qui devient aussi

un outil de gestion interne notamment dans le cadre du redéploiement économique wallon.

1.2.3. La phase d’institutionnalisation formelle

Enfin, à partir de 2004, le processus de développement de l’évaluation entre dans une phase

d’institutionnalisation formelle dont l’élément central est sans conteste la création de l’Institut

Wallon de l’Évaluation, de la Prospective et de la Statistique (IWEPS) en 2004.

L’évaluation du CAW a donné lieu à trois types d’impacts qui ont initié une nouvelle phase

de l’institutionnalisation de l’évaluation des politiques publiques en Wallonie. Premièrement,

le Gouvernement wallon a mis en œuvre une intégration plus étroite des partenaires sociaux à

la politique régionale, via la technique des chartes.95 Deuxièmement, l’évaluation a permis de

développer des outils de suivi interne (tableaux de bord) qui ont évolué vers une forme

communicable, à travers les Chiffres-clés de la Wallonie, qui mesurent trimestriellement

l’évolution de la Wallonie par rapport à quelques indicateurs clés.96 Troisièmement,

l’évaluation du CAW a été l’occasion de discuter de la notion d’évaluateur externe et

indépendant prônée par le modèle de la Commission européenne. Suite à la première

94 Gouvernement wallon, Contrat d’avenir pour la Wallonie, Namur, 2000.95 Vandendorpe, L. (2), Op. Cit., p. 110.96 Ibid., p. 110.

27

évaluation externe du CAW en 2001, il a été prévu que « l’évaluation externe sera poursuivie

en 2002 et que le processus d’évaluation sera progressivement internalisé »97 afin de permettre

à l’administration wallonne d’intégrer la pratique de l’évaluation.98 En fait, on s’est interrogé

sur la notion d’indépendance de l’évaluateur externe rémunéré par son mandataire et sur le

coût que représentent ces évaluations externes. Le Parlement a alors opté pour une

internalisation la démarche d’évaluation au sein de l’administration (au sens large) considérée

comme garante de l’indépendance et de l’intérêt public.99 C’est dans ce contexte que le

législateur wallon a décidé, par un décret de décembre 2003, d’organiser un cadre

institutionnel à deux niveaux via la création du Conseil Wallon de l’Évaluation, de la

Prospective et de la Statistique (CWEPS) et la transformation du Service des Etudes et de la

Statistique (SES) en Institut Wallon de l’Evaluation, de la Prospective et de la Statistique

(IWEPS). Le Conseil endosse un rôle de pilotage de l’Institut, il est essentiellement chargé de

missions d’avis et de recommandations auprès du Gouvernement et de l’Institut. Il est

composé des recteurs des universités francophones (ou de leur représentants), de personnalités

scientifiques, des représentants des partenaires sociaux qui siègent au Conseil Économique et

Social de Wallonie (CESW) et de représentants du Conseil wallon de l'Environnement pour le

Développement durable (CWEDD). L’Institut est l’instance d’évaluation proprement dite. Il a

une mission générale d’aide à la décision. Dans ce cadre, il est amené à réaliser des exercices

d’évaluation confiés par le Gouvernement, dans les matières qui relèvent de sa compétence.100

Il s’est ainsi vu charger d’évaluer le CAWA, le plan Marshall et ensuite le plan Marshall

2.vert101. Le décret de 2003 marque véritablement une nouvelle phase dans le processus

d’institutionnalisation de l’évaluation des politiques publiques en Wallonie. L’ambition était

de faire de l’IWEPS l’institution de référence en matière d’évaluation. Il convient déjà de

noter que, malgré les intentions affichées, l’IWEPS n’est, jusqu’à présent, jamais parvenu à

véritablement assumer ce rôle. La démarche d’internalisation de l’évaluation au sein de

l’IWEPS n’a pas été menée jusqu’au bout. Comme nous le verrons de manière plus détaillée

par la suite, la question de l’adoption d’un modèle institutionnel wallon n’a jamais pu être

tranchée : les sédiments de l’histoire se sont accumulés et font aujourd’hui coexister une

multitude d’acteurs, d’instances évaluatives et de types d’évaluations sur la scène wallonne.

97 Gouvernement wallon, Communiqué de presse du 5 septembre 2002.98 Jacob S. et Varone F. (3), Op. Cit., p. 105.99 Ibid., p. 105.100 Décret relatif à la création de l’Institut wallon de l’évaluation, de la prospective et de la statistique, 4 décembre 2003 (M.B. du 31/12/2003), articles 8-9.101 Il faudrait plutôt parler des évaluations du plan Marshall 2. Vert. On a prévu pour ce plan pas moins de 13 évaluations.

28

Après avoir présenté l’histoire de l’institutionnalisation de l’évaluation des politiques

publiques en Wallonie, nous allons chercher, dans la partie qui suit, à en mesurer le degré.

2. Opérationnalisation de l’institutionnalisation de l’évaluation des politiques publiques

en Wallonie

Mesurer le degré d’institutionnalisation de l’évaluation en Wallonie suppose une

opérationnalisation du concept, c’est-à-dire une traduction en indicateurs mesurables et

représentatifs. La tâche n’est pas aussi aisée qu’il n’y parait. Afin d’identifier les éléments

pertinents à prendre en compte dans notre mesure, nous nous sommes basés essentiellement

(mais pas uniquement) sur deux modèles d’analyse : d’une part, le degré de maturité de

l’évaluation développé par J-E Furubo et R. Sandhal102 et, d’autre part, le degré

d’institutionnalisation de l’évaluation développé par S. Jacob103 (voyez l’Annexe 6). Bien que

ces deux typologies aient été utilisées pour comparer des pays, rien ne semble s’opposer à ce

qu’elles s’appliquent à une région comme la Wallonie.

Dans la mesure où ces modèles ont été conçus dans une optique de comparaison

internationale entre un nombre relativement important de pays, les indicateurs développés se

situent à un niveau d’abstraction relativement élevé. En effet, ils se concentrent

essentiellement sur des indicateurs, certes aisément observables et quantifiables pour un

nombre important de pays, mais qui ne sont qu’indirectement liés à la pratique effective de

l’évaluation. Ainsi, les modèles développés s’attachent principalement aux modalités

formelles d’institutionnalisation (structures organisationnelles, standards de qualité, présence

de société d’évaluation, etc.) et/ou à certains éléments globaux (discours national concernant

l’évaluation, pluralité des domaines dans lesquels l’évaluation prend place). Or,

conformément à la définition des institutions que nous avons retenue, des éléments moins

formels liés à la pratique évaluative méritent d’être pris en considération pour rendre compte

du processus d’institutionnalisation. Dans la mesure où nous nous concentrons uniquement

sur le cas wallon, nous avons jugé plus intéressant de nous pencher aussi sur des variables

situées à un niveau d’abstraction moins élevé et davantage liées à la pratique effective

d’évaluation. De cette manière, nous pourrons caractériser l’institutionnalisation de

l’évaluation de manière plus précise, plus contextualisée et plus nuancée. Toutefois, nous ne

renonçons pas aux indicateurs développés dans les modèles comparatifs : ils nous permettront

de positionner, en conclusion de ce chapitre, la Wallonie dans les classements internationaux.

102 Furubo J-E and Rist R., Op. Cit., pp. 1-23.103 Jacob S. et Varone F. (3), Op. Cit., pp. 20-22.

29

Nous avons identifié quatre dimensions à l’institutionnalisation de l’évaluation en Wallonie,

chacune de ses dimensions se concrétisant en différents indicateurs.

(1) L’ampleur de la pratique évaluative a trait au nombre d’évaluations menées mais aussi

à l’étendue des domaines politiques concernés. Celle-ci se décline en différent indicateurs.

Premièrement, l’indicateur plus évident et le moins discutable concerne le nombre et le sujet

des évaluations réalisées. Bien qu’il paraisse central, cet indicateur n’est repris dans aucune

comparaison internationale. La raison doit être trouvée dans la difficulté d’obtenir des chiffres

fiables sur ce sujet. S. Jacob affirmait à ce propos qu’« en l’état actuel de nos propres

recherches et de la littérature internationale, il n’est absolument pas pensable de recenser

l’ensemble des évaluations réalisées dans les […] pays étudiés. Nous sommes d’ailleurs

certains que la majorité des responsables de dispositifs nationaux d’évaluation […] ne sont

pas du tout en mesure d’apporter une réponse à cette question, tant l’évaluation est

polycentrique ». Nous chercherons à faire ce travail pour la Wallonie. Dans le même ordre

d’idée, nous nous attacherons à faire l’inventaire des clauses évaluatives que le législateur

insère dans les lois en vue de rendre obligatoire la réalisation d’évaluation. Une troisième

catégorie d’indicateurs concernera l’analyse de la place de l’évaluation dans les documents

politiques. Pour des raisons pratiques, nous nous attacherons aux déclarations de politiques

générales (DPR). Ces indicateurs nous permettront de nous faire une idée de l’ampleur de la

pratique effective de l’évaluation en Wallonie en termes de quantité et de secteurs concernés.

Nous considérons qu’une pratique évaluative importante et étendue à de nombreux domaines

constitue un signe d’institutionnalisation avancée.

(2) La deuxième dimension concerne les acteurs et les structures organisationnelles de

l’évaluation. Il s’agira ici de recenser l’ensemble des acteurs de l’évaluation. Afin de clarifier

le propos et d’ordonner notre pensée, nous opérerons une double distinction. D’une part, à

l’instar de N. Haarich et J. del Castillo Hermosa104, nous différencierons les acteurs de l’offre

et de la demande d’évaluation. D’autre part, nous identifierons les différents types de

structures organisationnelles existantes (cellule administrative, commission parlementaire,

consultants privés, universitaires, etc.). En outre, nous nous attacherons à analyser si une

communauté épistémique a pu se constituer. Ces éléments nous permettront de dessiner les

contours d’une cartographie de l’évaluation en Wallonie. Nous postulons que l’existence de

nombreux acteurs, d’instances formelles d’évaluation et d’une communauté épistémique

indiquent une institutionnalisation avancée. 104 Haarich N. et del Castillo Hermosa J., « Development of evaluation systems. Evaluation capacity building in the framework of the new challenges of EU structural policy », ERSA Conference, Porto, août 2004.

30

(3) Troisièmement, nous nous attacherons à analyser la qualité des évaluations menées.

L’objectif de notre analyse ne sera pas de classer l’ensemble des évaluations selon une grille

d’analyse systématique.105 Il s’agira plutôt d’identifier, sur base de quelques cas et des

entretiens que nous avons menés, les principaux traits qui caractérisent la qualité des

évaluations menées pour le compte de la Wallonie. Pour ce faire, nous nous concentrerons sur

quelques éléments clés de la démarche évaluative : cahier des charges, critères d’évaluation,

designs et méthodes. Nous considérons qu’une bonne qualité d’évaluation constitue un signe

d’institutionnalisation de la pratique. Au contraire, des travaux de qualité très inégale, des

méthodes brouillonnes, un vocabulaire non stabilisé et très hétérogène indiquent une

institutionnalisation peu avancée.

(4) Enfin, nous nous intéresserons à la publication et à l’utilisation des évaluations. La

diffusion des évaluations a fait l’objet de discussions quant à la question de savoir si les

évaluations doivent ou non être accessibles à un large public.106 A l’instar de Perret, nous

considérons qu’une publication systématique des évaluations illustre un processus

d’institutionnalisation de la pratique.107 Par ailleurs, les évaluations ont vocation à être

utilisées. A cet égard, nous chercherons à savoir dans quelle mesure les évaluations sont

utilisées en Wallonie, une large utilisation indiquant une institutionnalisation de la pratique.

3. L’ampleur de la pratique évaluative

3.1. Le nombre et le sujet des évaluations

3.1.1. Collecte des données

En vue d’obtenir des informations sur l’ampleur de la pratique évaluative, nous nous sommes,

dans un premier temps, naturellement penchés vers l’IWEPS et la SWEP afin de voir si des

données étaient disponibles. Nous avons constaté que, hormis l’étude réalisée par Arnaud

Salmon pour le compte de la SWEP108, non seulement il n’existait aucune donnée sur

l’ampleur de la pratique évaluative en Wallonie mais en plus qu’aucun acteur ne semblait

105 Ce type de méta-évaluation constituerait sans conteste un travail riche d’enseignements. Malheureusement, nous ne pouvons entreprendre une telle démarche dans le cadre de ce mémoire.106 Sur ce sujet, voyez Balthasar A., « Institutional Design and Utilization of Evaluation: A Contribution to a Theory of Evaluation Influence Based on Swiss Experience », Evaluation Review, n° 33, 2008, p. 234 et pp. 240-242. 107 Perret B. (2), Op. Cit. 108 Ce travail avait pour objectif de constituer un premier aperçu des travaux d’évaluation en Région Wallonne et ne prétendait pas à l’exhaustivité. Salmon A., « La pratique de l’évaluation et de la prospective en Wallonie. Bilan des cinq dernières années : 2000-2005 », Etude réalisée pour la SWEP sous la direction de Jean-Louis Dethier et d’un comité de pilotage composé de Luc Albarello, Henry d’Anethan, Daniel Collet, Philippe Destatte, Jean Houard, Luc Maréchal, Eugène Mommen, 2005.

31

disposer d’une information récente à ce sujet.109 Dès lors, nous avons pris le parti de recenser

nous même les travaux évaluatifs réalisés pour la Région Wallonne.

La question de la méthode à mettre en œuvre pour récolter les données s’est avérée ardue à

solutionner et plusieurs dilemmes ont dû être tranchés.

Une première question à éclaircir consistait à déterminer auprès de qui il fallait récolter

l’information. Assez rapidement, nous avons décidé de rechercher les données auprès des

acteurs qui forment la demande d’évaluation (les commanditaires) de politiques publiques.

D’une part, ceux-ci semblaient plus faciles à identifier. D’autre part, cela permettait de partir

de la source. Toutefois, devant l’étendue du champ d’investigation et compte tenu de nos

ressources limitées, nous avons limité notre recherche aux Directions Générales (DG)

(Secrétariat Général y compris) de l’administration wallonne et aux cabinets ministériels.

Ainsi, hormis quelques exceptions, nous ne considérons pas dans notre recensement les

évaluations commanditées par les organismes d’intérêt publics (OIP). Ce choix s’est imposé

pour des raisons pratiques de faisabilité. Il était, en effet, plus facile de contacter les

différentes DG plutôt que l’ensemble du secteur public wallon. Si de nombreux acteurs n’ont

pas été pris en compte, en nous concentrant sur le cœur de l’administration wallonne, nous

touchons tout de même aux principales compétences de la région. En outre, nous avons

également recensé les pratiques évaluatives de la Cour des Comptes.

La deuxième question à résoudre concernait la méthode à adopter pour récolter les données.

Initialement, à l’instar de ce qu’à fait F. Varone en Communauté française110, nous avions

imaginé réaliser une enquête par questionnaire auprès de l’administration et des cabinets afin

d’obtenir des informations relatives au nombre d’évaluations réalisées, à leur caractère

obligatoire ou non, aux approches et méthodes utilisées, à leur utilité, etc. Suite aux entretiens

que nous avons menés avec différents acteurs de l’évaluation, nous avons pris conscience que

cette démarche se heurtait à plusieurs difficultés difficilement surmontables. D’abord, une

telle enquête comportait un risque élevé de non-réponse due à la longueur du questionnaire et

à la difficulté que peuvent avoir les répondants à s’inscrire dans des réponses pré-codées.

Ensuite, si le nombre d’évaluation constitue une information centrale, son intérêt est limité si

on n’est pas capable d’identifier ces évaluations. En effet, au-delà du risque de doublon

(lorsqu’une évaluation est citée deux fois par différents répondants), un recensement qui 109 Même l’IWEPS qui apparait tout indiqué pour récolter cette information. Il semble que l’Institut soit intéressé par la question mais ne dispose pas des ressources pour mener ce travail de recensement.110 Varone F. (2), « Pratiques et perspectives de l’évaluation en Communauté française de Belgique », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, pp. 39-64.

32

n’identifie pas clairement les évaluations citées, ne permet pas d’analyser ce que les

répondants entendent par évaluation des politiques publiques. Or, il semble que les acteurs

aient des conceptions sensiblement différentes de ce qu’est une évaluation. C’est pourquoi il

importait de mettre en place une démarche qui permette non seulement de dénombrer les

évaluations réalisées mais aussi de les identifier. Enfin, en posant des questions générales qui

comportent des réponses pré-codées sur le caractère obligatoire, les méthodes ou l’utilité des

évaluations menées, on ignore largement le fait que chaque exercice évaluatif est

particulier.111

Suite aux conseils de Mme Van Haeperen et dans la lignée méthodologique du travail d’A.

Salmon, nous avons opté pour une démarche moins ambitieuse, sans doute, mais plus réaliste.

Afin d’estimer le nombre d’évaluations réalisées pour la Région Wallonne, nous avons

contacté les différentes Directions Générales de l’administration wallonne et les différents

cabinets auxquels nous avons simplement posé, par mail, les deux questions suivantes :

− Combien d'évaluations de politiques publiques112 votre Direction Générale a-t-elle

(Cabinet a-t-il) commanditées depuis le début de la législature (2009-2012) ?

− Sur quelles politiques publiques portent ces évaluations ?

Ce choix méthodologique présente différents avantages. D’une part, il est très facile à mettre

en œuvre : une fois les coordonnées prises113, il suffisait d’envoyer les différents mails.

D’autre part, il permet de filtrer les réponses en supprimant les doublons et ouvre la

possibilité de retracer les évaluations citées (voir si elles sont publiées, si les administrations

partagent la même conception de l’évaluation, etc.).

Néanmoins, la méthode utilisée souffre de sérieuses limites. D’abord, elle ignore les

évaluations commanditées par les différents OIP (le portail de Wallonie en recense 36).

Ensuite, les répondants ne nous ont peut-être pas transmis des informations sur toutes les

évaluations (ou pratiques assimilées) qui ont été menées : ils n’ont pas forcément

connaissance de tout, ils ont peuvent avoir oublié, etc. Enfin, il nous faut signaler que, si

111 Ainsi, une entité administrative éprouvera des difficultés à répondre, si plusieurs cas de figure se sont présentés, à une question du type : « Quels types d’évaluations avez-vous réalisés au courant de ces cinq dernières années ? Les évaluations sont réalisées : - de notre propre initiative - sur obligation réglementaire/légale - par imposition du pouvoir politique. » Jacob S. et Varone F. (1), Op. Cit., p. 51.112 Nous avons repris dans notre mail la définition d’évaluation de politique publique présentée dans la première partie de ce mémoire.113 Dans un premier temps, nous avons envoyé un mail aux responsables communication des différentes DG. En cas de non-réponse, nous contactions directement les inspecteurs généraux.

33

toutes les DG ont répondu, nous n’avons reçu aucune réponse du cabinet de la ministre

Tillieux.

Le travail de recensement auprès de la Cour des Compte s’est révélé beaucoup plus facile car

leurs études sont systématiquement publiées sur leur site internet.

Au final, nous ne prétendons nullement à l’exhaustivité. Néanmoins, nous pensons que

l’exercice que nous avons mené permet de se faire une bonne idée de l’ampleur des travaux

évaluatifs au sein de l’administration wallonne.

3.1.2. Analyse des résultats

Plusieurs commentaires peuvent être formulés sur base des données collectées et reprises dans

le tableau 1. Premièrement, il apparait que de nombreuses évaluations (ou études apparentées)

sont réalisées en Wallonie. En effet, nous avons dénombré pas moins de 48 évaluations

réalisées ou en cours depuis le début de la législature (période 2009-2012). Ces résultats vont

à l’encontre de l’idée selon laquelle le secteur public wallon est rétif à l’encontre de la

pratique évaluative. D’autant plus que, pour être complet, il faudrait ajouter à ces chiffres les

évaluations réalisées par ou pour le compte des différents organismes détachés de

l’administration centrale (OIP et autres). Á ce sujet, nous savons, sans avoir pu les quantifier

qu’un nombre significatif d’évaluations sont menées dans ce cadre soit à travers les

obligations d’évaluer les contrats de gestion (par exemple : évaluation du contrat de gestion

du FOREM)114, soit lorsque l’organisme détaché a l’évaluation dans ses missions (par

exemple : l’évaluation annuelle de la politique scientifique réalisée par le Conseil de la

Politique Scientifique) ou souhaite commander une étude sur un sujet particulier (par

exemple : l’évaluation du plan Ensemble Simplifions commanditée par EASI-WAL).

Signalons également que 11 évaluations de cluster ont été menées durant cette période.

Deuxièmement, il semble que les évaluations réalisées touchent à la plupart des compétences

de la Wallonie, exceptions faites de la gestion des routes et des voies navigables. Notons que

la Direction générale opérationnelle Fiscalité (DGO7) n’a, à l’heure actuelle, pas encore

procédé à des activités en lien avec l’évaluation. L’administration s’explique de cette situation

par le fait que la DGO7 est une administration jeune. Concernant l’action sociale et la santé,

la DGO5 nous a signifié qu’il n’existait pas d’évaluations réalisées dans ce domaine au niveau

régional. Ceci nous a étonnés compte tenu des engagements pris en la matière par le

114 Dans notre tableau nous avons repris en gris les évaluations de contrats de gestion qui nous ont été signalées lors de notre enquête. Elles sont en gris car ces évaluations ne constituent pas, à proprement parler, des évaluations de politiques publiques.

34

Gouvernement dans sa Déclaration de Politique Régionale (DPR)115. Une explication est sans

doute à trouver dans l’existence d’un Conseil Wallon de l'Action sociale et de la Santé

(CWASS) et d’un Observatoire wallon de la Santé (OWS), tous deux chargés de missions

d’évaluation.

Troisièmement, un premier coup d’œil sur les résultats montre que les études recensées sont

loin de recouvrir la même réalité évaluative. L’évaluation du plan Marshall 2.vert (qui

comporte, en fait, 13 sous-évaluations) ne constitue pas le même travail que l’évaluation de la

politique de remembrement rural.

Enfin, si de nombreux travaux d’évaluation sont réalisés, nous n’avons trouvé la trace

d’aucune méta-évaluation. Ceci confirme ce que S. Jacob et F. Varone exprimaient : « tout

comme pour les autres niveaux de pouvoir, la Région wallonne porte peu d’attention à la

qualité des évaluations réalisées (à l’aide de méta-évaluation par exemple) »116.

Tableau 1 : L’ampleur de la pratique évaluative en Wallonie depuis le début de la législature (hors OIP)

Nombre Commanditaire

évaluateur Publication

Sujet

1 Gouvernement

IWEPS Oui Évaluation du plan Marshall (13 volets)

2 Secrétariat Général

Alain Schoon et Henry Capron

Oui Programmation 2007-2013 des Fonds Structurels : Analyse de la contribution des programmes opérationnels « Convergence » et « Compétitivité régionale et emploi » dans la perspective des rapports stratégiques 2009 et 2012

3 Secrétariat Général

See et COMASE Oui Analyse de la plus-value générée par les portefeuilles de projets et projets uniques dans le cadre des programmes opérationnels FEDER 2007-2013 “Convergence” et “Compétitivité régionale et emploi”

4 Secrétariat Général

See et COMASE Oui Evaluation des résultats des actions co-financées par le FEDER 2007-2013 en matière de stimulation de l’entreprenariat, de création, de développement et de transmission d’entreprises dans le cadre des programmes opérationnels “Convergence” et “Compétitivité régionale et emploi”

4 Secrétariat Général

ADE En cours

Evaluation des actions cofinancées par le FEDER 2007-2013 en matière de développement et d’exploitation du potentiel d’innovation dans le cadre des programmes opérationnels Convergence et Compétitivité régionale et emploi

5 Secrétariat Général

ADE En cours

Évaluation des projets et portefeuilles de projets cofinancés par le FEDER 2007-2013 en matière de développement des pôles urbains wallons dans le cadre des programmes opérationnels« convergence » et « compétitivité régionale et emploi »

6 Secrétariat Général

Non Evaluation de la manière et de la mesure dans lesquelles les dispositifs mis en œuvre par la Wallonie

115 Voir infra.116 Jacob S. et Varone F. (3), Op. Cit., p. 99.

35

dans le cadre des programmes opérationnels contribuent au développement et à l’exploitation du potentiel d’innovation en Wallonie au bénéfice des entreprises, et en particulier des PME

7 Secrétariat Général (Dics)

Dics (interne) Oui Évaluation 2009 Eté solidaire, je suis partenaire

8 Secrétariat Général (Dics)

Dics (interne) Oui Évaluation 2010 Eté solidaire, je suis partenaire

9 Secrétariat Général (Dics)

Dics (interne) Oui Évaluation du plan HP : analyse d’impact

10 Secrétariat Général (Dics)

Dics (interne) en collaboration avec l’IWEPS

En cours (décembre 2012)

Évaluation globale du plan de cohésion sociale

11 DGO3 Cadet International SA

Oui Évaluation de l’exécution du plan wallon des déchets (horizon 2010)

12 DGO3 RDC Environnement

Oui Evaluation ex-post des actions et mesures prévues dans le Plan Wallon des Déchets Horizon 2010

13 DGO3 RDC Environnement

Oui Evaluation des actions de prévention du PWD horizon 2010

14 DGO3 RDC Environnement

Oui Evaluation de la politique régionale relative aux parcs à conteneurs

15 DGO3 RDC Environnement

Oui Evaluation ex-post des actions et mesures prévues dans le Plan Wallon des Déchets Horizon 2010 - Volet déchets industriels

16 DGO3 Non Evaluation de l’AGW du 17/07/2008 relatif à l’octroi de subvention aux pouvoirs subordonnés en matière de prévention et de gestion des déchets

17 DGO3 Non Evaluation de l’AGW du 5 mars 2008 relatif à la gestion des déchets issus de l’activité usuelle des ménages et à la couverture des coûts y afférents

18 DGO3 Perspective Consulting

Non Évaluation de la politique de remembrement rural

19 DGO3 (obligation UE : règlement (CE) n° 288/2009)

ADE Oui Evaluation du programme « Fruits et légumes à l’école »

20 DGO3 Direction des Programmes Européens

ADE, Gembloux agro bio tech

Oui Evaluation à mi-parcours du Programme wallon de développement rural 2007-2013

21 DGO3 Direction des Programmes Européens

ADE, Gembloux agro bio tech

En cours

évaluation du Programme wallon de Développement Rural 2007-2013, deuxième phase.

22 DGO5 DGO5 Oui Evaluation de l’exercice de la tutelle régionale sur les pouvoirs locaux comme le prévoit l’article L3117-1 du Code de la démocratie locale et de la décentralisation

36

annuel pas vraiment de l’évaluation23 DGO5 DGO5 Non Évaluation du mécanisme de répartition du fonds des

communes en matière de financement général des communes comme le prévoit l’article L1332-23 du Code de la démocratie locale et de la décentralisation.

24 DGO6 Non Évaluation des mesures de soutien à la recherche, au développement et à l’innovation organisée par le Décret du 3 juillet 2008 (évaluation externe tous les cinq ans)

25 Cabinet Henry

Perspective Consulting

Non Evaluation du CWATUPE

26 Cabinet Henry

Perspective Consulting

Non Evaluation SDER

27 Cabinet Henry

Non Evaluation CPDT Fonctionnement

28 Cabinet Henry

Non Evaluation Contrat de gestion SRWT

29 Cabinet Henry

Non Evaluation Contrat de gestion SPGE

30 Cabinet Henry

PricewaterhouseCoopers

Non Evaluation Contrat de gestion SWDE

31 Cabinet Henry

En cours

Evaluation Contrat de gestion SPAQUE

32 Cabinet Henry

En cours

Evaluation de la politique des sols

33 Cabinet Henry

En cours

Evaluation de la mobilité locale

34 Cabinet Henry

En cours

Evaluation du décret infractions environnementales

35 Cabinet Antoine

COMASE Oui Évaluation du secteur des entreprises de formation par le travail (EFT) et des organismes d’insertion socioprofessionnelle (OISP)

36 Cabinet Antoine

PriceWaterhouseCoopers

Non Evaluation à mi parcours du contrat de gestion du FOREM

37 Cabinet Antoine

Non Évaluation dans le cadre du renouvellement du contrat de gestion de l'IFAPME

38 Cabinet Antoine

Sonecom et CRIS

Non Evaluation des mesures « APE » et « PTP »

39 Cabinet Marcourt

Sonecom Non Évaluation du dispositif IDESS (commandité sous l’ancienne législature)

40 Cabinet Marcourt

Non Evaluation alliance emploi-environnement

41 Cabinet Marcourt

Ernst & Young Non Evaluation du contrat de gestion de l’AWEX

42 Cabinet Marcourt

DGO6 département de la Compétitivité et de l’innovation

Oui Evaluation du Small Business Act (Mise en oeuvre)

43 Cabinet Furlan

Non Evaluation du CDLD (4 volets : méfiance collective, élu qui refuse de devenir bourgmestre, tutelle, exclusion ou de la démission d'un élu)

44 Cour des Comptes

Cour des comptes

Oui Le subventionnement des centres de planning et de consultation familiale et conjugale

45 Cour des Comptes

Cour des comptes

Oui La gestion durable de l’azote en agriculture

37

46 Cour des Comptes

Cour des comptes

Oui Le subventionnement régional des investissements communaux

47 Cour des Comptes

Cour des comptes

Oui La stratégie et le rôle d'exemple de la Région wallonne en matière de développement durable - Etat des lieux

48 Cour des Comptes

Cour des comptes

Oui Utilisation rationnelle de l'énergie dans les bâtiments – Gestion des aides financées par le Fonds énergie

50 Conseil de la Politique Scientifique (Clause évaluative)

Conseil de la Politique Scientifique

Oui Evaluation de la politique scientifique de la Région wallonne et de la Communauté française (années 2008 et 2009)

51 Conseil de la Politique Scientifique (Clause évaluative)

Conseil de la Politique Scientifique

Pas encore publié

Evaluation de la politique scientifique de la Région wallonne et de la Communauté française (années 2010 et 2011)

52 Agence de Stimulation Technologique

ADE et Merit oui Évaluation externe de l’évolution du système d’intermédiation scientifique et technologique en Wallonie

53 Perspective Consulting

Non Evaluation du contrat de gestion de l’AWIPH

54 EASI-WAL Van Dijk Management Consultants

Non Evaluation du plan Ensemble Simplifions

3.2. Les clauses évaluatives

3.2.1. Collecte des données

Afin de faire l’inventaire des clauses évaluatives que le législateur insère dans la législation,

nous avons effectué une recherche dans la base de données juridiques de la Wallonie

(Wallex)117 à partir du mot clé « évaluation » sur la période de temps 2009-2012.118 Pour des

raisons de lisibilité et de faisabilité, nous avons centré nos analyses aux décrets et arrêtés du

Gouvernement.

Á partir de là, nous avons opéré un tri pour ne garder que les occurrences qui traitent

d’évaluation de politiques publiques ou de pratiques apparentées. Ainsi, conformément à la

définition que nous avons retenue, nous avons éliminé de notre champ d’analyse toutes les

occurrences aux évaluations de personnels, aux inspections internes ou aux évaluations

d’incidences sur l’environnement de projet particulier. Ce type de tri ne fût pas une entreprise

aisée et certains choix sont sans doute discutables. Nous avons également supprimé les

117 http://wallex.wallonie.be/ 118 Plus exactement du 7 juin 2009 (date des élections régionales) au 7 juillet 2012.

38

redondances en ne comptant qu’une fois les différents textes qui font référence à la même

évaluation.

Cette recherche sur internet comporte certaines limites. D’une part, il est possible que

certaines dispositions assimilables à des clauses évaluatives ne soient pas prises en compte.

C’est notamment le cas lorsqu’un texte prévoit la réalisation d’une étude sur une politique

publique sans utiliser le terme évaluation. D’autre part, dans la mesure où il s’agit d’un travail

plutôt fastidieux, nous nous sommes concentrés sur les normes juridiques publiées après le 9

juin 2009. Les clauses évaluatives antérieures ne sont donc pas prises en considération. Notre

recherche ne permet donc pas d’identifier l’ensemble des clauses évaluatives mais présente

les clauses publiées au Moniteur depuis la dernière législature.

3.2.2. Analyse des résultats

Sans tri aucun (des normes juridiques de toute nature), en tapant simplement le mot

évaluation pour la période de temps 2009-2012, on obtient 132 textes (de toutes nature) qui

font référence à l’évaluation. En limitant notre recherche aux décrets du Parlement wallon, on

obtient 38 occurrences. Après avoir trié les résultats, nous avons retenu 9 textes assimilables à

des clauses évaluatives. Parmi ceux-ci, 2 ont trait à des évaluations de contrats de gestion, les

7 autres concernent davantage des évaluations de politiques publiques (Voyez les tableaux de

l’Annexe 7). En nous intéressant aux arrêtés du Gouvernement wallon, on obtient 95 résultats.

Après tri, nous avons retenu 23 arrêtés. Parmi ceux-ci, 14 concernent des évaluations de

contrats de gestion, de conventions conclues entre les autorités publiques et divers organismes

(publics ou privés) ou ont trait à des évaluations menées en vue de l’octroi ou de la

reconduction de subventions ou d’agréments et 9 prévoient des évaluations de politiques ou

de programmes publics à proprement parler. Au final, dans les décrets et arrêtés wallon, nous

avons recensé 16 textes assimilables à des clauses évaluatives, 5 textes relatifs à des

évaluations de contrat de gestion ou de convention et 11 textes concernant des évaluations

menées en vue de l’octroi ou de la reconduction de subventions ou d’agréments.

Sans point de repère comparatif, le nombre de clauses identifiées est difficilement

interprétable. Nous pouvons néanmoins souligner différent points en lien avec

l’institutionnalisation de l’évaluation.

Premièrement, les autorités wallonnes adoptent bien des clauses évaluatives. Sur trois ans,

leur nombre (16) semble toutefois assez limité au regard de l’ensemble des dispositions

prises. Si on prend en compte les évaluations menées dans le cadre de contrats de gestion,

39

convention, octroi ou reconduction de subventions ou d’agréments (32), le nombre est déjà

plus important. Si on ne peut, à l’évidence, parler d’un réflexe évaluatif lors de la formulation

des décrets et règlements, il convient de noter que des clauses sont ancrées dans certaines

dispositions.119 Notons que Romain Dumont, membre du cabinet Marcourt, nous a affirmé

que, désormais, il n’est plus imaginable de lancer un grand plan ou programme en Wallonie

sans prévoir une évaluation, même si ce n’est pas nécessairement inscrit dans un texte

juridique.

Deuxièmement, les clauses évaluatives semblent toucher la plupart des compétences de la

Région. Ainsi, des domaines aussi diversifiés que l’environnement, la lutte contre la

discrimination, l’emploi, la sécurité routière, l’économie, l’aide sociale ou encore la politique

scientifique sont concernés. Notons que trois clauses découlent directement d’obligations

européennes.

Troisièmement, les clauses sont énoncées de manière plus ou moins détaillée, allant du simple

projet d’évaluer à la mention de conditions pratiques de la démarche évaluative. Elles

comportent quasi généralement (dans 14 cas sur 16) une indication temporelle plus ou moins

précise : évaluation régulière, périodique, pour la fin de la législature, tous les trois ans,

annuellement, pour le 31 décembre 2012, pour le 30 juin de chaque année, décennale etc.

Dans certains cas, le texte désigne l’autorité compétente pour évaluer voire détaille les

éléments sur lesquels doivent porter les évaluations (analyse de la mise en œuvre, degré de

réalisation des objectifs, etc.). En tout état de cause, il n’existe pas de clauses évaluatives

types : elles sont toutes formulées au cas par cas de manière différente120.

Une dernière remarque mérite d’être formulée : il semble que les évaluations prévues dans le

cadre de contrats ou de conventions soient plus encadrées par des clauses évaluatives que les

évaluations des activités de l’administration centrale. On peut peut-être y voir ici un moyen,

pour le Gouvernement, d’obtenir des informations sur les activités de ses agences ou des

acteurs privés qui réalisent des missions de service public.

119 A ce sujet, il serait sans doute intéressant de mener un travail dans le temps afin de voir si l’inscription de clauses évaluative tend à se renforcer.120 Il s’agissait d’ailleurs d’une difficulté dans leur recensement.

40

3.3. L’évaluation dans la Déclaration de Politique Régionale de la Région Wallonne

(DPR) pour la législature 2009-2014.

3.3.1. Collecte des données

Afin d’estimer la place réservée à l’évaluation de politique publique dans la Déclaration de

Politique Régionale de la Région Wallonne (DPR) pour la législature 2009-2014, nous avons,

dans un premier temps, comptabilisé les occurrences du mot « évaluation » (et de ses

déclinaisons : évaluer, évaluant, évalué, évaluateur, etc.) dans le document. Ensuite, nous

avons réalisé une analyse de contenu sur base d’une grille très simple qui distingue le type

d’évaluation, le domaine d’activité et qui reprend le passage concerné. Il s’agit là d’un

exercice riche d’enseignements.

3.3.2. Analyse des résultats

La DPR pour la législature 2009-2014 comporte 205 occurrences aux termes « évaluation,

évaluer, évaluateurs, etc. ». A titre de comparaison, les Déclarations de 1999 et de 2004

comptaient respectivement 32 et 123 occurrences.121 S’il ne faut pas accorder à ces chiffres

une valeur qu’ils n’ont pas, on peut tout de même y voir le signe d’une préoccupation

politique pour l’évaluation.

En examinant de plus près le document de 2009, on constate que le Gouvernement entend,

s’engage, projette ou propose d’évaluer pas moins de 124 politiques, mesures, plans ou

programmes publiques (voyez le tableau à l’Annexe 8) qui touchent à l’ensemble de ses

compétences. En fait, le Gouvernement envisage l’évaluation de quasi toutes les mesures qu’il

entend mettre en œuvre durant la législature. C’est pourquoi, on ne s’étonnera pas de

constater que tous les domaines d’activité sont touchés : économie122, emploi123,

environnement124, politique énergétique125, aménagement du territoire126, agriculture127,

santé128, politique sociale129, gouvernance130, formation131, logement132, etc.).

121 Il faut signaler que la taille du document s’est considérablement accrue au fil du temps. 122 Exemple : évaluation de la politique de soutient aux sociétés innovantes.123 Exemple : évaluation du dispositif APE.124 Exemple : évaluation des procédures d’information dans le cadre des sites pollués.125 Exemple : évaluation de l’action des tuteurs énergie.126 Exemple : évaluation des Règlements Généraux sur les Bâtisses en Site Rural (RGBSR).127 Exemple : une première évaluation du plan stratégique de développement de l’agriculture biologique.128 Exemple : évaluation des politiques de prévention SIDA et des infections sexuellement transmissibles (IST).129 Exemple : évaluation du plan de cohésion sociale.130 Exemple : évaluation des règles d’incompatibilité, de conflit d’intérêts, de déclaration de mandats et de patrimoine et de contrôle ou de limitation des revenus qui figurent dans une multitude de législations éparses.131 Exemple : évaluation du plan langues.132 Exemple : évaluation de la réforme du régime locatif dans les logements publics.

41

Les projets du Gouvernement en matière d’évaluation sont énoncés de manière plus ou moins

détaillée, allant de la simple intention ou proposition133 au véritable engagement à évaluer134.

En outre, les conditions pratiques de l’évaluation sont plus ou moins précisées. Alors que dans

certains cas le Gouvernement indique un ou plusieurs de ces éléments : indication temporelle,

instance évaluatrice, objectifs de l’évaluation, éléments sur lesquels devront porter

l’évaluation, partenaires associés ; dans d’autres cas, il se contente de prévoir une évaluation

sans aucune information supplémentaire.

Il faut également noter que les différents projets d’évaluation du Gouvernement ne recouvrent

pas la même réalité évaluative. Alors que certains projets concernent d’importants travaux

évaluatifs (évaluation du plan Marshall), d’autres paraissent beaucoup plus limités (évaluation

des dispositifs d’aide en matière d’e-business). De même, alors que certaines évaluations (de

mise en œuvre) visent essentiellement les procédures administratives (ex : évaluation des

critères et procédures de sélection des projets dans le cadre des outils au service du

développement rural (FIDER, ODR, PWDR)), d’autres cherchent à véritablement identifier

les effets des politiques (ex : évaluation des effets du Plan d’économie d’énergie et

d’amélioration environnementale du bâti).

En confrontant la DPR aux évaluations réalisées, on ne peut que constater l’écart qui existe

entre le discours politique et les pratiques réelles. Sur le grand nombre de travaux évaluatifs

que le Gouvernement s’est engagé ou a projeté de mener, seuls un faible pourcentage ont été

mis en œuvre à la mi-législature. Il sera très intéressant de faire un bilan complet en 2014.

S’il faut prendre garde à ne pas confondre déclarations et pratiques, elles indiquent tout de

même que le Gouvernement a véritablement intégré (dans son discours à tout le moins) la

fonction d’évaluation dans la manière dont il entend prendre et gérer les politiques publiques.

Ceci doit, à notre sens, être considéré comme un signe d’institutionnalisation. Pour s’en

convaincre, soulignons que le Gouvernement à clairement indiqué, dans un chapitre intitulé

« une fonction publique moderne et efficace », qu’il s’engage à « évaluer les normes

notamment sur base des rapports des Médiateurs afin d’identifier les problèmes administratifs

récurrents dans la mise en œuvre d’une réglementation »135. Par ailleurs, il ambitionne de

mettre en place une « administration efficace, efficiente et orientée sur les objectifs »136. 133 « Le Gouvernement propose de procéder avec l’ensemble du secteur à une évaluation de la réforme du secteur de la médiation de dettes en intégrant la réflexion sur la prévention », Projet de Déclaration de politique régionale wallonne 2009-2014, p. 205.134 « Le Gouvernement s’engage à organiser, dès le début de la législature, une évaluation du CWATUPE ». Ibid., p. 137.135 Projet de Déclaration de politique régionale wallonne 2009-2014, p. 238.136 Ibid., p. 240.

42

3.4. Principaux enseignements

Alors que personne ne disposait de véritables informations sur le nombre d’évaluation menées

en Wallonie, notre travail de recensement apporte un premier éclairage dans cette voie. Les

méthodologies déployées pour rassembler cette information témoignent d’ailleurs de la

difficulté de décrocher des données à ce sujet tant la pratique évaluative est polycentrique.

D’autre part, il faut remarquer que l’évaluation est largement présente tant dans les discours

politiques, les textes juridiques que dans la pratique. En outre, elle semble toucher l’ensemble

des compétences de la région. Il ne faut toutefois pas se méprendre : s’il existe beaucoup de

travaux évaluatifs, ceux-ci ne sont pas systématiques et semblent recouvrir des pratiques très

hétérogènes. En effet, il n’existe pas d’uniformisation des concepts. A partir de là,

l’évaluation n’est pas comprise de la même manière par tous. Nous aurons l’occasion de

compléter ces constats dans la suite de ce travail.

4. Les acteurs et les structures organisationnelles de l’évaluation

4.1. Les acteurs et les structures organisationnelles

4.1.1. Collecte des données

Afin de recenser les différents acteurs de l’évaluation en Wallonie, nous avons opéré une

double distinction. D’une part, nous avons différencié les acteurs de la demande

(commanditaires) et les acteurs de l’offre (évaluateurs) d’évaluation. D’autre part, nous avons

identifié, pour ces deux catégories, les différents types de structures organisationnelles

(cellule administrative, commission parlementaire, consultants privés, universitaires, etc.)

existantes. Nous nous sommes essentiellement basés sur la lecture de travaux existants et de

textes officiels ainsi que sur des entretiens.

4.1.2. Analyse des résultats

4.1.2.1. Les commanditaires

Suivant à S. Jacob, nous avons identifié trois types de commanditaires.137 Ceux-ci peuvent

être parlementaires, ministériels ou administratifs.

4.1.2.1.1. Le niveau parlementaire

Bien que les parlementaires soient de temps en temps amenés à voter des clauses

évaluatives, ils n’en sont généralement pas les instigateurs. En effet, comme le note S. Jacob

la « prépondérance gouvernementale en matière d’initiative législative restreint les

potentialités d’introduction de clauses évaluatives ». Lorsque le Gouvernement ne désire pas

évaluer sa propre action, il y a très peu de chance qu’un amendement introduit dans ce sens

aboutisse. Ceci ne doit pas nous surprendre compte tenu du système politique wallon (et belge

en général) caractérisé par la faible influence du Parlement dans le processus de mise à

l’agenda législatif. En outre, il semble que les parlementaires, hormis le cas de quelques

enjeux important (plan Marshall, CWATUPE, CDLD), soient peu sensibles et prêtent peu

d’attention aux travaux qui sont menés.

Il importe de préciser ici le rôle joué par la Cour des comptes en matière d’initiative

évaluative. La Cour des comptes est une institution auxiliaire des assemblées parlementaires,

chargée du contrôle des administrations publiques. Compétente à l’égard de l’autorité

fédérale, des Communautés et des Régions (et des organismes qui en dépendent) la Cour des

comptes contrôle traditionnellement la légalité des opérations de recettes et de dépenses, et le

respect des règles budgétaires et comptables. Elle constitue, en outre, la juridiction chargée de

statuer sur la gestion des comptables publics.138 Depuis 1998139, à l’instar de ce qui existait

dans les pays voisins, la loi confie à la Cour des comptes une mission de contrôle a posteriori

du bon emploi des deniers publics. Sur cette base, la Cour est, en vertu de son indépendance,

habilitée à initier des audits assimilables, avec certaines nuances, à des évaluations de

politiques publiques. A côté de ce pouvoir d’initiative, la loi prévoit que le Parlement peut

charger la Cour de procéder à des analyses dans les domaines que le Parlement détermine.140

137 Jacob S. et Varone F. (5), « Institutionnalisation de l’Évaluation et Nouvelle Gestion Publique : un état des lieux comparatifs », Revue Internationale de Politique Comparée, Vol. 11, n° 2, 2004, pp. 271-292.138 Article 180 de la Constitution. Loi du 29 octobre 1846 relative à l’organisation de la Cour des comptes.139 Il faut noter que la Cour réalisait déjà des contrôles de bonne gestion avant 1998 mais sur ses bases juridiques incertaines.140 Dumazy W. et Trosch A., « La nouvelle compétence de la Cour des comptes en matière de bon usage des deniers publics », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de

Les travaux parlementaires précisaient à ce sujet : « en chargeant la Cour des comptes d’une

fonction d’audit, le Parlement sera en mesure de contrôler lui-même le fonctionnement des

services, organismes et entreprises publiques et il ne devra plus se contenter de prendre

connaissance des rapports de bureaux d’audits externes transmis par les ministres concernés ».

Cette évolution des missions s’inscrit dans une volonté de réorientation et revalorisation du

pouvoir législatif progressivement supplanté par l’exécutif. Dans ces conditions, une stratégie

que pourrait adopter les parlementaires soucieux d’initier des évaluations de politique

publique consiste donc à déposer une résolution visant à charger la Cour des comptes de

mission d’audit. Malgré cela, cette voie parait peu usitée : nous n’avons dénombré, en

Wallonie, qu’une demande parlementaire en ce sens concernant le FOREM fin 2008. La

principale contrainte qui se pose est de réunir une majorité parlementaire pour enjoindre la

Cour à réaliser un audit. Des propositions individuelles sont bien de temps en temps

introduites mais ne sont généralement pas relayées par une majorité politique141 (sauf

consensus politique lors d’une crise par exemple)142. La Cour a réalisé 15 audits depuis 1998

(5 depuis juin 2009) portant sur des thèmes divers.143 La grande majorité des audits sont

réalisés d’initiative propre (14 sur 15 et 5 sur 5 durant cette législature). Toutefois, force est

de constater que la Cour s’informe des besoins évaluatifs de la Région : les 5 évaluations

menées depuis 2009 figurent toutes dans la DPR de 2009-2014. Après une phase ou la Cour

semblait hésiter à s’engager de manière claire et déterminée dans la nouvelle voie qui lui était

proposée144, il semble que l’institution assume aujourd’hui véritablement ses nouvelles

missions.

Enfin, il est intéressant de voir que lors des travaux parlementaires relatifs à la création de

l’IWEPS, plusieurs parlementaires de l’opposition ont exprimé le souhait que l’Institut soit, à

l’instar de la Cour des comptes, rattaché, dans un souci d’indépendance et d’impartialité, au

Parlement et non au Gouvernement. Les amendements pris en ce sens ont été rejetés, le

Gouvernement désirant garder la mainmise sur l’IWEPS. Durant ces travaux, s’est également

posée la question de savoir si le Parlement pouvait commander directement des travaux à

l’Institut. Alors qu’au départ rien n’était prévu dans ce sens, on a ensuite introduit, à l’article

17 du décret, une disposition qui autorise le Parlement à commander des études. Toutefois,

l’ULB, n° 1, 2000, pp. 39-48. 141 La Cour ne s’en désintéresse pas nécessairement pour autant.142 Au niveau fédéral, ça été le cas lors de la catastrophe de Buizingen.143 https://www.ccrek.be 144 Jacob S. (1), Op. Cit., p. 88.

cette commande ne peut se faire que sur les fonds propres du Parlement. 145 Cette possibilité

offerte aux parlementaires ne semble pas utilisée.

4.1.2.1.2. Le niveau ministériel

Au niveau ministériel, il apparait que les cabinets sont de grands instigateurs d’évaluation.

Comme en atteste la Déclaration de Politique générale du Gouvernement, l’évaluation des

politiques figure de manière récurrente dans les projets du Gouvernement. Le fait que les

cabinets ministériels jouent un rôle considérable dans l’élaboration des politiques explique

sans soute leur motivation à disposer d’une information sur la conduite de celle-ci. En outre,

l’évaluation représente une opportunité de valoriser l’action gouvernementale. Concrètement,

lorsque le Gouvernement souhaite obtenir une évaluation dans un domaine précis, il s’adresse

soit à un centre de recherche ou un consultant privé (via appel d’offre en appliquant plus ou

moins l’administration), soit à l’administration via l’intermédiaire ou non d’organisme

d’étude. En outre, les cabinets participent activement à la rédaction des cahiers des charges,

particulièrement pour les évaluations qui présentent le plus d’enjeux politiques (CWATUPE,

CDLD, plan Marshall,…). Des membres des cabinets prennent généralement part aux comités

d’accompagnement et aux comités de suivi mis en place.

4.1.2.1.3. Le niveau administratif

A côté du Gouvernement, il apparait que l’administration initie également des travaux

d’évaluation de ses actions. Ainsi, elle se partage avec le Gouvernement l’essentiel de

l’activité de commande d’évaluations. Ceci tend à montrer que l’évaluation des politiques

publiques est fondamentalement l’affaire de l’exécutif en Wallonie. L’activité de

l’administration en matière de commande d’évaluations se fait, dans certains cas, d’initiative

propre, dans d’autres cas, à la demande du Gouvernement ou du ministre responsable, dans

d’autres cas encore, suite à une clause évaluative. Si l’administration et le Gouvernement se

partagent l’essentiel de la commande d’évaluations, il semble que les évaluations directement

commanditées par le niveau gouvernemental s’inscrivent davantage dans les enjeux politiques

du moment que les évaluations commandées par l’administration.146 Ceci peut se comprendre,

notamment lorsque les acteurs gouvernementaux envisagent de réformer une politique et

qu’ils commandent une évaluation dans ce cadre. Par ailleurs, les responsables administratifs

sont systématiquement impliqués dans les comités de suivi et d’accompagnement. Il existe

145 Parlement wallon, débat en Commission relatif au projet de décret créant l’IWEPS.146 C’est du moins l’impression de C. De Decker (Perspective Consulting).

également bon nombre d’initiatives au sein des OIP147 (singulièrement de type B), qui, en

vertu de leur structure juridique, disposent d’une autonomie d’action plus large que celle

octroyée à l'administration générale classique. Nous n’avons pas pu quantifier l’ampleur de

ces initiatives dans le cadre de ce mémoire. Nous signalons juste ici que les OIP sont

généralement tenus d’évaluer leur mode de fonctionnement et le degré de réalisation de leurs

missions contenues dans leur contrat de gestion. Á ce sujet, l’article 5 du décret du 12 février

2004 relatif au contrat de gestion et aux obligations d’information prévoit explicitement que

les contrats de gestion des organismes soumis au décret doivent obligatoirement faire l’objet

d’une évaluation par un tiers lors de leur renouvellement.

De manière générale, une étude au cas par cas serait nécessaire pour véritablement identifier

le rôle joué par les membres des cabinets et les responsables administratifs (notamment dans

la rédaction des cahiers des charges et la détermination des questions d’évaluation).

4.1.2.2. Les évaluateurs

Du côté de l’offre d’évaluation, nous avons identifié quatre grands types d’évaluateurs actifs

en Wallonie : les parlementaires et la Cour des comptes, l’administration au sens large, les

bureaux de consultance privés, les centres de recherche.

4.1.2.2.1. Le niveau parlementaire

Dans un régime de démocratie représentative comme celui qui prévaut en Belgique et en

Wallonie, le contrôle de l’exercice de l’activité gouvernementale est une tâche qui revient

traditionnellement aux assemblées parlementaires. On peut, dès lors, considérer que

l’évaluation des politiques publiques s’inscrit naturellement dans cette fonction de contrôle du

Parlement.148 « Ce suivi parlementaire exercé sur les politiques menées par le Gouvernement

s’accomplit à l’occasion de l’adoption du budget et lors de l’exercice du contrôle

parlementaire en général »149. Le contrôle budgétaire, singulièrement depuis la réforme de

1989 qui instaure un budget par programme, implique une forme d’évaluation. En effet,

« dans la mesure où ils regroupent effectivement l'ensemble des moyens concourant à un

objectif et sont accompagnés de résultats à atteindre, les programmes budgétaires

constitueront pour le gestionnaire budgétaire une structure particulièrement bien adaptée à une

147 Exemple : Easy Wall a commandité une évaluation du plan « Ensemble Simplifions » (Date d'attribution du marché : 18/01/2010).148 Trosch, A., « Les instruments classiques d’évaluation des politiques publiques en Belgique », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, pp. 19-38.149 Ibid., p. 19.

évaluation a posteriori de la politique menée »150. Toutefois, des carences et des obstacles

dans la mise en œuvre de la réforme limitent fortement la possibilité et l’effectivité du travail

d’évaluations des parlementaires. Surtout guidé par le souci de respecter les grands équilibres

budgétaires, l’élaboration du budget reste aujourd’hui largement étrangère à un suivi et une

évaluation des politiques.151 A côté du contrôle budgétaire, les actions politiques du

Gouvernement peuvent faire l’objet d’interventions parlementaires qui se rattachent, de près

ou de loin, à une forme d’évaluation. Ces interventions peuvent prendre plusieurs formes :

interpellations, questions écrites et orales, débats durant l’élaboration de nouvelles lois,

examens des comptes rendus par le Gouvernement. Néanmoins, il faut reconnaitre que, dans

la pratique actuelle, les modes d’intervention du Parlement wallon ne se rattachent que très

marginalement à l’évaluation des politiques publiques telle qu’on l’entend dans ce mémoire.

Il apparaît que l’évaluation se heurte encore trop souvent au mode de fonctionnement suranné

de nos assemblées. « Le contrôle politique du Gouvernement ne se conçoit en effet qu’à

travers le jeu assez « stérile » et peu systématique du suivi de l’action gouvernementale par le

biais des questions et interpellations. Il est stérile en ce sens qu’il ne permet que trop rarement

de dépasser le rapport majorité-opposition, et que le jeu consiste davantage à « piéger » un

ministre (ou à faire parler de soi dans la presse, puisque les débats se déroulent en séance

publique) qu’à faire avancer le débat »152.

La Cour des Comptes, quant à elle, s’est engagée, depuis que ses compétences se sont élargies

au contrôle de bonne gestion, dans la voie de l’évaluation. Ce contrôle vise, en substance, à

évaluer si la politique analysée a été mise en œuvre avec efficacité, économie et efficience.153

Ces interventions s’apparentent aux évaluations de politiques publiques, même si elles

conservent, à certains endroits, un vocabulaire propre aux contrôles comptables. La Cour ne

parle d’ailleurs pas d’évaluation mais d’audit de bonne gestion. Il faut noter que les travaux

parlementaires témoignent de la volonté de ne pas enfermer la Cour des comptes dans une

démarche trop rigide ou dans des concepts exclusifs.154 Une limite sérieuse se pose à la

150 Ibid., p. 23.151 Ibid., p. 24-27.152 de Visscher C. et Varone F. (1), « Les défis de l’évaluation en Belgique », in de Visscher C. et Varone F. ( eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, pp. 156-157.153 Ces notions ont été précisées lors des travaux parlementaires : l’économie consiste à mesurer si les ressources ont été acquises et utilisées au meilleur coût, l’efficacité requiert de définir les effets obtenus par rapport aux finalités et objectifs assignés et l’efficience implique de mesurer le rapport entre les moyens mis en œuvre et les résultats atteints. Chaque audit de bonne gestion ne porte pas nécessairement sur chacun des critères. Dumazy W. et Trosch A., Op. Cit., p. 44.154 Ibid., p. 42.

compétence de la Cour : elle ne peut contrôler l’opportunité des politiques. Dans la pratique,

la distinction entre les concepts peut parfois s’avérer délicate.

4.1.2.2.2. Le niveau administratif

Au niveau de l’administration, il existe différents acteurs qui effectuent des travaux qui sont

plus ou moins apparentés à de l’évaluation de politiques publiques. Nous avons distingué trois

types d’acteurs : des services ou cellules administratives au sein de l’administration générale

qui ont des missions d’évaluation, des commissions ou comités d’avis et/ou d’études en

dehors de l’administration centrale et l’IWEPS. Á côté de ces acteurs, d’autres services

réalisent ponctuellement, et de manière peu visible, des travaux évaluatifs sans que cela ne

fasse partie de leurs missions centrales.

Le tableau repris à l’Annexe 9 recense les différentes cellules, directions ou départements qui

sont, de par leurs missions, susceptibles d’évaluer (ou d’accompagner les évaluations faites

par ailleurs) des politiques publiques. Il ressort qu’il existe, disséminées au sein de

l’administration centrale wallonne, certaines cellules administratives qui ont, parmi leurs

missions, la tâche d’effectuer des travaux d’évaluation (ex : la Direction interdépartementale

de la Cohésion sociale). En outre, il est probable que des cellules qui n’ont pas l’évaluation de

politique dans leur mission, en réalisent tout de même lorsqu’on leur demande. Afin de les

identifier, il conviendrait de contacter l’ensemble des services de l’administration wallonne :

ceci représente un travail conséquent qui n’a pu être réalisé dans le cadre de ce mémoire. Par

ailleurs, il semble que certaines directions (DGO3, DGO4) privilégient la voie externe

lorsqu’il s’agit d’évaluer une de leurs politiques. Plusieurs raisons sont susceptibles de

l’expliquer : manque de ressource interne, obligation règlementaire, indépendance et

impartialité des rapports d’évaluation.

A côté de l’administration centrale, de multiples instances publiques sont susceptibles de

mener des travaux évaluatifs. D’une part, il existe dans de nombreux OIP un service d’étude

et/ou d’évaluation.155 D’autre part, des conseils, commissions ou comités ont été créés afin de

formuler des avis et/ou de réaliser des études.156 Il apparait que, parmi ceux-ci, certains se

livrent à des travaux d’évaluation. C’est notamment le cas du Conseil wallon de la Politique

scientifique qui doit évaluer tous les deux ans la politique scientifique de la Région wallonne

et de la Communauté française, du Conseil wallon de l'Économie sociale, du Conseil

supérieur du logement ou encore du Comité d´accompagnement des centres de planning et de 155 Par exemple : service transversal d’étude et d’évaluation au sein de l’Agence de Stimulation Économique. 156 Le guide des institutions du portail de Wallonie en dénombre 23. Voyez : http://www.wallonie.be/fr/guide/guide-services/1497

consultation familiale et conjugale. La multiplication de ces structures qui réalisent des

évaluations dans leur secteur d’activité concourt à éclater le paysage de l’évaluation et à le

rendre difficilement lisible.

Parmi ces organismes, un commentaire particulier mérite d’être formulé à l’encontre de

l’Institut wallon de l´Évaluation, de la Prospective et de la Statistique (IWEPS). Une des

missions de l’Institut consiste à réaliser des exercices d'évaluation, confiés par le

Gouvernement dans les matières qui relèvent de sa compétence. L’Institut ne peut donc pas,

d’initiative, décider de réaliser une évaluation. Lors de sa création, la volonté était de faire de

l’IWEPS le lieu de référence en matière d’évaluation. Il ne s’agissait pas de rendre impossible

tout recours à une expertise extérieure ni de créer le seul service de la Région habilité à faire

des évaluations et de court-circuiter tout ce qui se fait déjà, mais de créer un centre de

référence à même d’effectuer lui-même des évaluations ou d’aider des administrations dans la

rédaction de cahiers des charges ou dans l’élaboration de méthodologies d’évaluation.157 Dans

l’état actuel des choses, force est de reconnaitre que la centralité de l’IWEPS doit être

relativisée. 158 Non seulement, il est loin d’être l’instance centrale en matière d’évaluation (il

n’y en a pas) en Région wallonne mais en plus il ne constitue pas un pôle qui attire et retient

l’information relative aux différents travaux évaluatifs menés en Wallonie. Ainsi, l’IWEPS

n’a pas connaissance et n’est pas informé de toutes les initiatives prises en la matière. En

outre, l’IWEPS est rarement sollicité par les administrations pour fournir un appui

méthodologique dans la conception et la réalisation d’évaluations, rôle qu’il pourrait pourtant

jouer notamment à travers une aide à la rédaction des cahiers des charges.159 Sur ce point, il

apparait que les liens hiérarchiques existants entre l’IWEPS et les différents ministres n’ont

pas toujours été très clairs et que le caractère transversal de l’Institut n’était pas connu de

tous : l’IWEPS dépendant fonctionnellement du ministre-président, certaines administrations

et/ou cabinets dépendants d’autres ministres ont longtemps considéré qu’ils ne pouvaient pas

s’adresser à l’Institut. De ce fait, l’Institut a souffert et souffre encore d’un manque de

visibilité quant au rôle qu’il pourrait jouer auprès des administrations.160 Les autorités se sont

rendues compte de ce problème (qui ne concerne pas uniquement l’évaluation) et ont, pour y

remédier, mis sur pied un comité de pilotage de l’IWEPS composé des différents cabinets. 157 Parlement Wallon, travaux parlementaires relatifs au projet de décret créant l’IWEPS, séance du 3/12/2003.158 Rossignol N., « L’évaluation participative des politiques publiques. De la participation à l’«Institut Wallon de l’Evaluation, de la Prospective et de la Statistique » ? », Mémoire de fin d’études, Promoteur S. Brunet, 2010, p. 39. 159 Il faut noter qu’on appelle régulièrement l’Institut pour faire partie des comités d’accompagnement mais souvent après la rédaction des cahiers de charge.160 L’IWEPS était considéré comme l’institution qui évaluait le plan Marshall, sans que les administrations sachent qu’il pouvait faire plus que cela.

L’Institut, de son côté, s’est engagé dans un travail visant à mieux se faire connaitre auprès

des administrations. Au final, actuellement, l’essentiel des ressources évaluatives de l’IWEPS

restent mobilisées dans le cadre de l’évaluation du plan Marshall 2.vert et l’Institut ne dispose

pas véritablement des moyens nécessaires à l’accomplissement d’autres tâches.161

4.1.2.2.3. Les consultants privés

A côté de la Cour des comptes et des instances administratives, différents consultants privés

réalisent, dans le cadre de marchés publics, des travaux d’évaluation pour le compte de la

Région wallonne.162 Il s’agit d’une forme d’institutionnalisation initiée par la Commission

européenne dans le cadre des évaluations des programmes européens. Le recours à des acteurs

externes a ensuite été repris à de nombreuses reprises par les autorités wallonnes. Plusieurs

raisons peuvent être avancées dont le manque de ressources en interne, la recherche

d’objectivité, la volonté de confier l’évaluation à un opérateur indépendant163, etc.

Ici encore, il n’est pas aisé de repérer les acteurs privés œuvrant en évaluation des politiques

publiques du fait du caractère récent et mouvant de leurs activités, de l’hétérogénéité et de

l’éparpillement des prestataires. Suite à nos interviews et aux recensements de différents

travaux évaluatifs, nous avons identifié une douzaine d’opérateurs privés actifs sur le

« marché wallon » (voyez l’Annexe 10). Bien que l’univers du conseil soit loin d’être

homogène notamment au regard de la taille des cabinets, nous avons classé les différents

intervenants en matière d’évaluation en trois grandes catégories d’acteurs. Premièrement, les

cabinets de conseil plus ou moins spécialisés dans le secteur public. On y retrouve des

sociétés comme Perspective Consulting, ADE, See Policies, COMASE, Idea Consult,

Sonecom, Van Dijk Management Consultants. Deuxièmement, les cabinets de conseil

spécialisés dans un secteur d’activité spécifique : rdc environment (expert en environnement)

et Effisciences (expert en matière de santé).164 Enfin, on retrouve les grandes sociétés

internationales d’audit : Deloitte Consulting, Ernst & Young, KPMG,

161 Les ressources évaluatives de l’IWEPS sont extrêmement limitées : au total six personnes sont attachées à l’évaluation. Outre la coordinatrice de la cellule évaluation, il y a actuellement quatre personnes qui travaillent sur l’évaluation du plan Marshall 2.vert. En plus, un agent travaille sur un modèle d’évaluation ex ante des politiques. Ceux-ci sont aidés par une assistante administrative.162 Notons que l’externalisation de l’évaluation est systématiquement modérée par la mise en place d’un comité de pilotage et/ou d’accompagnement et/ou de suivi.163 L’indépendance des évaluateurs externes peut être discutée. A ce sujet, un expert détaché à la Commission Européenne, DG Politique régionale, unité évaluation, soulignait que « l'indépendance des évaluateurs nous fait un peu sourire parce que l'on sait tous que l'on ne mord pas la main qui nous nourrit. C'est toujours un peu ambigu d'être trop critique vis-à-vis d'un commanditaire… On a plutôt intérêt à fidéliser ses relations avec lui ». Matyjasik N., Op. Cit., p. 195.164 Cette catégorie travaille souvent en consortium avec d’autres évaluateurs.

PricewaterhouseCoopers qui s’investissent également dans l’évaluation à côté de leur activité

principale d’audit.165

Les bureaux de conseil qui gravitent sur le marché de l’évaluation sont soit de création

récente, soit ont investi le marché du secteur public de manière récente.166 Ainsi, les activités

de conseils liés à l’évaluation ont émergé avec l’institutionnalisation de l’évaluation en

Région Wallonne et, de manière plus large, avec le développement du recours à l’expertise

externe associé au tournant néo-managériale de l’action publique.167 Les structures de conseil

ont investi le terrain évaluatif dans le prolongement des activités qu’elles développaient

auprès des entreprises et des collectivités politiques depuis le milieu des années 1980.168

D’autres structures se sont constituées en se spécialisant directement dans le domaine public.

La plupart du temps, l’évaluation ne constitue pas l’activité principale des cabinets identifiés

mais s’intègre plutôt dans un package de prestations, diverses selon les cas (conseil en

management, pilotage des organisations et des politiques, réalisation d’enquêtes, audits, etc.),

que les structures proposent.169 Aucun de ces cabinets ne peut se contenter du seul « marché

wallon de l’évaluation », compte tenu de sa taille modeste. Dès lors, ils proposent d’autres

services et officient auprès d’autres acteurs publics voire privés. À cet égard, le profil des

différents intervenants varie sensiblement. Lors d’une enquête auprès des cabinets de

consultance en France, N. Matyjasik relevait que « pour un cabinet ou pour un consultant, ce

n’est pas forcément sain d’être uniquement sur de l’évaluation… L’évaluation est un exercice

complexe, souvent coûteux en terme d’investissement, en terme de prudence, de capacité à

anticiper les jeux d’acteurs… On a besoin souvent de souffler avec d’autres missions qui sont

moins complexes à gérer, avec des enjeux moins forts »170.

165 Du point de vue de leur méthode, il apparait que les big four se basent moins sur des instruments spécifiques à l’évaluation que sur leurs outils habituels qu’ils adaptent à la sauce évaluation.166 Bien que leur création soit ancienne, la venue des big four sur le marché du secteur public est récente.167 Il existe toute une littérature sur l’émergence de l’expert privé et la constitution du marché du consulting. Voyez, par exemple : Saint-Martin D., « Le consulting et l'État : une analyse comparée de l'offre et de la demande ». Revue française d'administration publique, n°120, 2006, p. 743-756. 168 Abiker D., Les consultants dans les collectivités territoriales, LGDJ, Paris, 1998.169 A ce sujet, nous vous invitons à consulter le site internet des opérateurs identifiés.170 Matyjasik N., Op. Cit., p. 203.

4.1.2.2.4. Les centres de recherche

La dernière catégorie concerne les centres universitaires qui réalisent des activités

d’évaluation pour la Région. Dans la foulée de leur émergence aux États-Unis et à l’instar de

ce qui se passe ailleurs en Europe, l’analyse et l’évaluation des politiques publiques ont connu

un développement incontestable dans le monde académique (recherche et enseignement)

francophone belge depuis une vingtaine d’années. Actuellement, la plupart des programmes

en sciences politiques ou sciences administratives proposent des enseignements liés à

l’évaluation des politiques publiques. L’UCL propose même une finalité management et

évaluation de politiques publiques dans le cadre du master en administration publique.

Toutefois, il faut bien reconnaitre que l’évaluation n’est généralement au centre que d’un, ou

deux cours tout au plus, et ne constitue pas (ou pas encore) le cœur d’une véritable

spécialisation. Ici aussi, différentes visions et conceptions de l’évaluation se côtoient. Á cet

égard, il semble qu’il existe un certain cloisonnement entre les départements économiques qui

se focalisent sur des méthodes économétriques d’évaluation et les départements de sciences

politiques qui s’inscrivent davantage dans des démarches qualitatives.

Par ailleurs, certains centres de recherche universitaires réalisent des travaux d’évaluation. Ici

encore, leur identification n’est pas une tâche aisée tant leurs activités sont isolées les unes

des autres et s’intègrent dans des missions éparses. Nous avons recensé, à l’Annexe 11, les

centres de recherche qui, à notre connaissance, ont participé à des évaluations réalisées pour

le compte de la Wallonie.

Globalement, les centres de recherches universitaires se livrent peu à des travaux évaluatifs

pour le compte de la Wallonie. Sans doute, de nombreuses recherches qui incorporent une

dimension évaluative sont menées mais très peu s’inscrivent dans un mandat d’évaluation. En

outre, les rares initiatives existantes sont isolées au sein de quelques centres de recherche.

Notons que l’intervention des centres universitaires se fait souvent dans le cadre d’une

collaboration avec d’autres évaluateurs. Ils viennent alors généralement apporter une expertise

particulière.

La faible implication des universités peut trouver différentes explications. D’une part, il

apparait que la temporalité des évaluations peut être en décalage avec celle de la recherche

universitaire. Les centres universitaires répondent moins et moins vite aux appels d’offres

lancés que les consultants privés. Compte tenu du fonctionnement de la recherche au sein des

universités, il semble difficile de trouver des chercheurs capables (en termes de qualification

53

et de temps disponible) de répondre rapidement aux demandes formulées. En outre, les

superviseurs n’ont pas nécessairement le temps de se consacrer aux études évaluatives en

formant les chercheurs et en suivant leurs travaux. 171 A ce sujet, N. Matyjasik note, en parlant

du cas français, que : « le faible investissement des centres de recherche dans l’évaluation

peut être expliqué par la difficulté pour le monde universitaire de rentrer dans les « canons »

des commandes des collectivités […] publiques. La capacité de réaction dans un temps court

(alors que la recherche privilégie le travail long) ainsi que le caractère opérationnel des

commandes qui exigent la production de recommandations utiles constituent des freins

souvent évoqués comme des obstacles au positionnement du milieu universitaire »172. Notons

que, pour contourner ce problème, l’IWEPS a proposé, dans le cadre de l’évaluation du plan

Marshall 2.vert, d’étaler les évaluations sur deux ans plutôt que de réaliser une évaluation du

plan en fin de la législature. Cette technique a permis à l’Institut de proposer un programme

d’évaluation aux universités et, ensuite, de conclure des conventions avec différentes

personnes au sein de celles-ci.

D’autre part, il peut exister un certain rejet du monde universitaire à l’égard des activités

d’évaluation qui trouve son origine dans la détermination du monde scientifique à garder une

certaine forme d’indépendance vis-à-vis du pouvoir politique. « La position de conseiller du

prince et/ou de prestataire de services est récusée au profit d’une forme de « neutralité

axiologique » car à l’inverse du chargé d’évaluation, le chercheur a l’initiative de ses

questions, établit son calendrier et se garde de porter des jugements de valeur »173. Dans cette

perspective, l’évaluation « n’a jamais été reconnue comme une activité noble pour des

chercheurs en sciences sociales »174. Pour autant, rien ne nous permet de véritablement étayer

cette dernière hypothèse.

Si les travaux évaluatifs pour les autorités wallonnes sont peu nombreux, on ne peut pour

autant conclure à un désengagement du monde universitaire envers l’évaluation. A cet égard,

il convient de souligner les actions et réflexions menées par une série de chercheurs parmi

lesquels on retrouve F. Varone, S. Jacob, H. Capron, A. Schoon, B. Van der Linden. En outre,

il importe de souligner l’implication des universités francophones dans l’organisation d’un

certificat interuniversitaire en évaluation des politiques publiques.175

171 Cette difficulté est rencontrée par l’IWEPS lorsqu’il souhaite collaborer avec les centres universitaires. 172 Matyjasik N., Op. Cit., p. 185.173 Matyjasik N., Op. Cit., p. 183.174 Perret B., L’évaluation des politiques publiques, in Matyjasik N., Op. Cit., p. 183.175 Voir Infra.

54

4.2. Émergence d’une communauté épistémique   ?

4.2.1. Collecte des données

Pour Peter M. Hass, « an epistemic community is a network of professionals with recognized

expertise and competence in a particular domain and an authoritative claim to policy-relevant

knowledge within that domain or issue-area » 176. Initialement forgée dans l’analyse des

relations internationales, la notion de communauté épistémique trouve désormais une place

particulière dans le champ des politiques publiques.177 Elle semble bien s’adapter à l’univers

de l’évaluation au sein duquel gravitent un petit nombre d’experts. L’intérêt de la notion

réside notamment dans le fait qu’elle se situe à la croisée des approches par réseau et des

approches cognitives.178

Au niveau wallon, les principales manifestations de l’émergence d’une communauté

épistémique en matière d’évaluation consiste en la création de clubs179, de réseaux180 ou d’une

société d’évaluation. Alors que les deux premières concernent généralement des groupes

informels et parfois limités dans le temps, la dernière constitue ce que l’on pourrait appeler,

en termes économiques, une organisation professionnelle. Celle-ci encourage l’échange

d’informations et la diffusion de bonnes pratiques entre différents acteurs concernés. Au-delà

de l’existence ou non d’une société d’évaluation, il conviendra d’examiner sa composition

(nombre et profil des membres) et ses activités (colloques, publications, formations, standards

de qualité) pour voir dans quelle mesure elles témoignent d’une institutionnalisation de la

pratique.

En outre, nous recenserons différentes manifestations organisées autour de l’évaluation des

politiques publiques. En effet, celles-ci constituent également des forums permettant la

diffusion de concepts, de méthodes et d’expériences nationales et/ou internationales. Nous

n’avons retenu ici que les manifestations les plus souvent citées et suscitant le plus de

commentaires, considérant qu’elles revêtent un intérêt plus évident.

176 Haas P. M., « Introduction: Epistemic Communities and International Policy Coordination », International Organization, Vol. 46, n° 1, 1992, p. 3 177 Bossy T. et Evrard A., « Communauté épistémique », in Boussaguet L. et al., Dictionnaire des politiques publiques, Presses de Science Po, 2010, p. 141. 178 Ibid., p. 144.179 Exemple : le club Cambon en France180 Exemple : Netzwerk Evaluation in der Bundesverwaltung en Suisse.

55

4.2.2. Analyse des résultats

Comme nous l’avons déjà précisé, dans la foulée du Congrès « La Wallonie au futur » des 9 et

10 octobre 1998 qui préconisait la mise en place d’un lieu indépendant de rencontres des

acteurs intéressés, afin de promouvoir des techniques, des savoir-faire, ainsi qu’une culture de

l’évaluation, l’Institut Destrée « a activé une dynamique […] pour s'approprier un minimum

d'expertise, au moins théorique, dans le domaine de l'évaluation et se confronter aux acteurs

de terrain »181. Les différentes réflexions et initiatives menées dans ce cadre182 aboutissent à

une approbation des statuts de la Société Wallonne de l’Evaluation et de la Prospective

(SWEP) le 29 avril 2000.

La charte fondatrice met clairement en évidence la volonté de promouvoir l’évaluation

comme démarche susceptible de contribuer à l’amélioration de la gouvernance publique.

Selon cette charte, la mission de la Société comporte trois dimensions :

organiser une réflexion méthodologique et éthique plutôt orientée vers les acteurs

directement impliqués dans les démarches évaluatives et prospectives,

promouvoir une diffusion de la culture de l’évaluation et de la prospective au niveau des

citoyens et des décideurs,

interpeller les décideurs pour les encourager à entreprendre et à soutenir des démarches

évaluatives et prospectives conformes aux valeurs éthiques et aux critères techniques

reconnus.183

Le rôle de la SWEP n’est donc ni d’évaluer, ni d’agir en se substituant aux acteurs de

l’évaluation. La SWEP a connu un succès immédiat réunissant jusqu’à une centaine de

membres appartenant à l’administration, au monde académique, au secteur privé et au secteur

associatif.184 Depuis sa création, elle organise régulièrement des petits déjeuners, conférences,

séminaires, ateliers et colloques autour de l’évaluation et/ou de la prospective. En un peu plus

de dix ans d’existence, la SWEP a organisé une quarantaine d’événements dédiés l’évaluation

(voyez l’Annexe 12). De ce fait, elle constitue une plateforme incontournable permettant la

rencontre et l’échange entre différents acteurs de l’évaluation actifs en Wallonie. En outre,

depuis 2011, la SWEP organise, en collaboration avec l’UCL, l’ULB et l’ULg, un certificat

interuniversitaire en évaluation des politiques publiques. Il s’agit d’un programme de

181 Destatte P., Op. Cit., p. 4.182 Voir supra 183 Voir http://www.la-swep.be 184 Ibid.

56

formation continue spécialement conçu pour des acteurs souhaitant occuper des fonctions

dans le cadre de la préparation, de la commande, de l’organisation, du suivi et de la réalisation

d’évaluations de politiques. Le programme permet aux participants de maîtriser les enjeux de

l’évaluation et de développer un état d’esprit, une culture de l’évaluation qui perdureront tout

au long de leur carrière.185 Cette certification spécifique à l’évaluation a vocation de

contribuer au développement d’une culture de l’évaluation et à une professionnalisation de ses

acteurs. La première édition organisée en 2011 a rencontré un beau succès. Les participants

étaient, pour leur grande majorité, des personnes actives dans les services publics, dans le

secteur privé de la consultance et dans le secteur associatif. Par ailleurs, contrairement à

certaines de ses consœurs, la SWEP n’a pas édicté de standards de qualité des évaluations186

mais se fonde sur une charte qui prône l’indépendance des évaluateurs, l’éthique des travaux

réalisés et la mise en œuvre de méthodologies transparentes.

A côté des activités de la SWEP, d’autres éléments concourent à constituer, si ce n’est une

communauté épistémique, « un petit monde » de l’évaluation en Wallonie. A cet égard, il

convient de pointer différents colloques et publications dédiés à l’évaluation des politiques

publiques (voyez l’Annexe 13). Au total nous avons relevé pas moins de 46 publications,

colloques ou conférences consacrés à l’évaluation en Belgique francophone. Bon nombre de

ces initiatives découlent des travaux réalisés par S. Jacob et F. Varone qui sont deux

chercheurs incontournables en la matière. On note d’ailleurs un essoufflement des

publications depuis qu’ils sont partis sous d’autres cieux. Par ailleurs, il semble que les

travaux plus récents tendent à davantage concernés des cas concrets. Enfin, il faut souligner

que le « petit monde de l’évaluation wallon » n’est pas isolé du reste de la galaxie évaluative

comme en témoigne les nombreuses participations à des colloques internationaux.

Au final, de multiples éléments contribuent à former une communauté qui partage la

compréhension de concepts, jargons et savoirs spécifiques à l’évaluation. Ce petit monde

semble graviter autour de quelques acteurs incontournables. Pour autant, cette communauté

n’est pas homogène et regroupe une variété de disciplines (science économique, science

politique, etc.), de statuts professionnels (académiques, consultants privés, fonctionnaires) et

d’expériences sectorielles (éducation, emploi, gouvernance, etc.). L’émergence d’un « petit

monde de professionnels de l’évaluation » doit être considérée comme un signe

d’institutionnalisation de la pratique. Si une dynamique s’est indéniablement enclenchée, 185 http://www.la-swep.be 186 Les standards de qualité « déterminent des lignes de conduite garantissant le respect de normes de qualité en terme de déontologie, de faisabilité pratique, d'utilité politique et de rigueur scientifique des évaluations réalisées au concret ». Il s’agit de normes idéales à viser. Jacob S. et Varone F. (3), Op. Cit., p. 17.

57

notamment depuis la création de la SWEP, elle n’a peut-être pas encore abouti à la création

d’une véritable communauté épistémique. A cet égard, la création d’un certificat

interuniversitaire peut constituer un pas décisif vers une professionnalisation et une

certification des évaluateurs susceptibles de faire émerger un véritable « ethos professionnel

se traduisant par des pratiques transmises et imitées, des règles formelles, mais aussi des

normes et un cadre conventionnel qui permettent la justification »187.

4.3. Principaux enseignements

Exceptions faites des travaux de la Cour des comptes188, l’institutionnalisation de l’évaluation

des politiques publiques se réalise quasi exclusivement auprès de l’exécutif en Région

Wallonne, les propositions de rattachement de l’IWEPS au Parlement n’ayant pas aboutis.

Globalement, on voit que l’institutionnalisation de l’évaluation au niveau législatif se heurte

au fonctionnement du système politique wallon qui fait la part belle aux partis politiques et à

la logique majorité contre opposition.

Cartographier l’ensemble des acteurs de l’évaluation en Wallonie est une tâche difficile, tant

la pratique de l’évaluation y est polycentrique. En effet, en dépit de la création de l’IWEPS, il

n’existe pas d’acteur référent, de plateforme qui centralise l’information. Tout se passe

comme si chacun menait ses évaluations au cas par cas, de manière isolée et non coordonnée.

Cet éclatement du paysage semble résulter du fait que les autorités wallonnes n’aient jamais

véritablement modelé les différentes couches de sédiments, laissées par les différentes voies

qu’empruntent le processus d’institutionnalisation, pour former un paysage cohérent et

coordonné. De ce fait, il coexiste actuellement quatre modèles d’institutionnalisation qui se

déclinent en de multiples instances et formes organisationnelles :

Evaluations externes après appel d’offre (modèle européen, modes de coordination : le

marché et les comités d’accompagnement/de suivi)

Évaluations menées par l’IWEPS dans le cadre du plan Marshall et dans la foulée des

CAW (modèle administratif décentralisé, coordination via un plan pluriannuel du

Gouvernement)

Évaluations internes aux administrations (modèle administratif, coordination

bureaucratique)

187 Fallon C. et Geoffroy J., « L’administration dans un contexte de modernité radicale : quand les instruments de gestion doivent devenir source de réflexivité », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 18, 2009, p. 70. 188 Ces travaux ne suscitent d’ailleurs qu’un intérêt limité des parlementaires.

58

Évaluations de la Cour des comptes

Ainsi, les instances qui peuvent revendiquer une action évaluative sont nombreuses. Cet

éclatement des lieux où se pratique, sous des formes diverses, l’évaluation se traduit par une

dispersion considérable des données disponibles. Alors qu’un regard superficiel pourrait

laisser croire à une large institutionnalisation de l’évaluation en Wallonie, cette prolifération

ne doit pas faire illusion tant les activités d’évaluation semblent peu coordonnées et de nature

très diverse. Or, lorsque la multiplication se fait éparpillement, on s’expose très vite au

manque de lisibilité, de visibilité189, de coordination190 ainsi qu’à une qualité très inégale et à

un effet limité des travaux produits.

Ici aussi, les débats parlementaires relatifs à la création de l’IWEPS sont éclairants. En effet,

les responsables politiques avaient pour ambition de faire de l’Institut « un lieu de

coordination des recherches » afin que la « multiplication d’études n’aboutisse pas à donner

un caractère disparate et non coordonné à celles-ci »191. C’est précisément à cet effet qu’a été

rédigé l’article 12 in fine du décret relatif à la création de l’IWEPS.192 Force est de reconnaitre

que cet objectif est loin d’être atteint.

5. La qualité des évaluations

5.1. Collecte des données

Dans cette partie, nous chercherons à éclairer certains éléments relatifs à la qualité des

évaluations. Nous nous sommes concentrés sur trois éléments : les cahiers des charges, le type

d’évaluation (critères d’évaluation), les designs et méthodes. Nous nous sommes basés sur des

lectures, 3 interviews193 et une analyse de différents rapports d’évaluation.194 Nous ne

prétendons nullement être représentatifs, nous voulons simplement illustrer des points qui

semblent caractériser la qualité des évaluations en Wallonie. Un travail plus large de méta-

évaluation mériterait sans doute d’être réalisé pour compléter ces résultats.

189 Sur ce point, nous avons, par exemple, été étonné d’apprendre que l’IWEPS n’est pas toujours connu de l’administration alors qu’il pourrait lui apporter une aide méthodologique dans la préparation et la réalisation d’évaluation.190 Des agents de l’IWEPS ont ainsi appris par la presse qu’une évaluation se faisait sur les pôles de compétitivité alors qu’ils en préparaient justement une.191 Parlement Wallon, travaux parlementaires relatifs au projet de décret créant l’IWEPS, séance du 3/12/2003.192 « Le Gouvernement met à la disposition de l’Institut les études qu’il réalise ou fait réaliser pour son compte. Le Gouvernement et les O.I.P. transmettent à l’Institut leurs projets d’étude dans le but d’informer l’Institut de l’objet et de la méthode desdits projets. » Art 12 in fine du décret du 4/12/2003 relatif à la création de l’IWEPS.193 L’interview de Madame Béatrice Van Haeperen (IWEPS), Madame Cécilia De Decker (Perspective Consulting) et Monsieur Romain Dumont (Cabinet Marcourt). 194 Particulièrement les évaluations du programme « été solidaire, je suis partenaire », du dispositif « IDESS » et du subventionnement des centres de planning et de consultation conjugale et familiale.

59

5.2. Analyse des résultats

En ce qui concerne les cahiers des charges, il apparait que ceux-ci sont généralement peu

précis voire carrément absents pour certaines évaluations internes (ex : évaluation du

programme « été solidaire »). En outre, ils sont très hétérogènes, utilisent un vocabulaire

changeant, ne présentent pas de structure harmonisée et sont de qualité très inégale. Les

clauses administratives ne posent habituellement pas de souci dans la mesure où elles sont

élaborées par des services juridiques spécialisés. Par contre, les précisions techniques

souffrent souvent d’importantes lacunes : les questions évaluatives ne sont pas195 ou sont mal

posées, les critères d’évaluation ne sont pas explicités, les méthodologies sont peu précisées,

les acteurs à interroger ne sont pas identifiés, il n’y a pas nécessairement de références aux

documents ou études qui ont déjà été réalisées sur le sujet (et donc risque de doublon). En fait,

il y a peu de réflexions préalables sur les fins et les questions d’évaluation, sur le modèle

théorique propre à la logique d’intervention qui sous-tend la politique, sur les méthodes et les

données à collecter et, en fin de compte, sur les stratégies de diffusion et de valorisation de

l’évaluation. Dans ces conditions, ces éléments sont souvent laissés à l’appréciation du

soumissionnaire qui fait une proposition de ce qu’il faut évaluer et comment l’évaluer. Par la

suite, certains points peuvent être redéfinis par concertation entre le commanditaire et

l’évaluateur. Ces manquements fréquents dans les cahiers des charges constituent un élément

essentiel dans la mesure où ceux-ci conditionnent largement la qualité des rapports produits.

Lorsque le Gouvernement édite des offres qui ne tiennent qu’en deux ou trois pages à propos

de politiques complexes (ex : évaluation de la politique APE où l’offre tient en trois pages :

on s’est limité à une enquête de satisfaction), les évaluateurs peuvent se contenter, au mieux

d’éviter certaines questions difficiles ou couteuses, au pire de réaliser des travaux superficiels.

En spécifiant mieux leurs demandes notamment en ce qui concerne les questions évaluatives

et les critères d’évaluation, les commanditaires pourraient obtenir des évaluations de

meilleure qualité.

Il convient toutefois de nuancer le tableau qui vient d’être tracé. En effet, il apparait qu’un

processus d’amélioration et d’apprentissage soit enclenché depuis quelques années.

L’exemple des évaluations successives du CAW, CAWA, plan Marshall et plan Marshall

2.vert parait caractéristique à cet égard. En effet, au fil des évaluations, la qualité des cahiers

des charges s’est sensiblement améliorée. Les commanditaires se sont notamment appropriés 195 Le cahier des charges de l’évaluation du dispositif IDESS ne prévoyait pas de questions évaluatives. Les questions d’évaluation ont été formulées par l’évaluateur à partir des objectifs spécifiques de l’évaluation repris dans le cahier des charges. De la même manière, les cahiers des charges des évaluations FSE ne contiennent pas de questions d’évaluation.

60

certains concepts (ex : reconstitution de la logique d’intervention, critères d’évaluation, etc.)

et méthodes d’évaluation. Ce phénomène d’apprentissage existe sans doute pour d’autres

plans ou politiques qui nécessitent des évaluations récurrentes, mais pas forcément toujours

(ex : évaluation du programme « été solidaire »). Par ailleurs, on peut penser que cet

apprentissage s’étende d’autres évaluations. Á ce sujet, l’IWEPS a pour vocation de jouer un

rôle de conseil et d’aide à la rédaction des cahiers des charges. Comme nous l’avons déjà

souligné, ce rôle semble encore très limité à l’heure actuelle. Quoi qu’il en soit, il semble

qu’un processus d’apprentissage soit en marche mais que de sérieux efforts méritent encore

d’être accomplis.

Concernant les critères et le type d’évaluations menées, une part non négligeable des

travaux semblent se contenter d’une évaluation de mise en œuvre.196 Il s’agit surtout

d’analyser si les mesures prévues ont bien été mises en œuvre sans se soucier des effets de la

politique publique. En ce qui concerne les évaluations de contrat de gestion des agences, S.

Cipriano et B. Van Haeperen relevaient que « à ce jour, peu d’indicateurs d’efficacité,

d’efficience, de performance et de résultats (valeurs de référence à atteindre) sont précisés et

coulés dans les textes fondateurs des agences. Dès lors, le subterfuge observé dans de

nombreux pays de l’OCDE pour évaluer les performances des agences est donc de se focaliser

sur les mesures mises en œuvre plutôt que sur les résultats attendus »197. Toutefois, si les

évaluations de mise en œuvre sont nombreuses, il serait erroné de penser qu’elles constituent

l’ensemble des évaluations réalisées. En effet, d’autres évaluations cherchent à prendre en

considération les effets des programmes évalués. Á cet égard, il faut bien reconnaitre que la

plupart se limitent à réaliser des enquêtes de satisfaction ou de simples comparaisons

transversales (entre régions par exemple) ou longitudinales (avant/après).198 Très peu

cherchent à aller plus loin en mettant en œuvre des méthodes plus sophistiquées destinées à

isoler de manière rigoureuse les effets imputables à la politique. Par ailleurs, les rapports ne

portent que rarement sur la pertinence des dispositifs évalués. Dès lors, ils ne comprennent

que fort peu de réflexions critiques sur les motivations initiales et l’adéquation entre les

objectifs, les instruments et la nature du problème à résoudre. Par conséquent, les

recommandations suggèrent avant tout des ajustements incrémentaux plutôt que des

changements fondamentaux conduisant à la remise en cause de la conception même des

196 Exemple : évaluation du programme « été solidaire », évaluation du subventionnement des centres de planning et de consultation conjugale et familiale.197 Cipriano S. et Van Haeperen B., Les agences dans le paysage de la fonction publique wallonne , IWEPS. Discussion Papers, n° 1003, 2010, p. 20.198 Exemple : évaluation du dispositif IDESS.

61

objectifs et instruments de la politique.199 « Si l’on interroge bien l’adéquation des moyens

aux objectifs, la mise en relation des acteurs impliqués, plus rarement les effets auprès des

bénéficiaires, il est encore moins fréquent que la discussion se poursuive jusqu’à questionner

la pertinence même du programme au regard du problème social qu’il vise »200.

En ce qui concerne les designs et les méthodes mis en œuvre. Á notre connaissance, les

évaluations menées en Wallonie reposent quasi toutes sur des designs non-expérimentaux.

D’abord, les commanditaires ne perçoivent pas toujours l’utilité de mettre en œuvre des

design expérimentaux ou quasi-expérimentaux201 d’autant plus qu’ils impliquent des

méthodologies sophistiquées qui représentent des coûts importants pour des résultats qui ne

sont parfois décevant. Ensuite, il apparait que, très souvent, la manière dont sont conçues les

politiques ne permet pas d’appliquer des designs expérimentaux ou quasi expérimentaux.202

Enfin, il semble qu’il n’existe, dans la communauté des évaluateurs, qu’un nombre

extrêmement limité d’acteurs, localisés au sein de quelques centres universitaires (ex : IRES),

capables de mener ce genre de recherches. Contrairement à ce que l’on observe aux États-

Unis, à l’heure actuelle, les consultants privés ne sont pas équipés en la matière. L’IWEPS

souhaite tendre, dans certains cas précis203, vers ce type de design mais ne dispose que de peu

de moyens pour encourager et soutenir ce genre de démarches. Pour cette raison, l’Institut fait

appel au support d’universitaires. S’il n’y a pas encore de pratiques expérimentales ou quasi

expérimentales en Wallonie, le sujet n’est pas totalement absent des colloques ou des cours

relatifs à l’évaluation.

Au niveau méthodologique, la préparation et la structuration des évaluations reposent souvent

(mais pas chez tous les évaluateurs) sur des ouvrages ou des manuels dédiés à l’évaluation.

Au-delà des livres plus conceptuels, il s’agit principalement du « Petit guide de l’évaluation »

et de la collection « MEANS ».204 Notons que l’IWEPS a pour projet de développer un

manuel d’évaluation pratique et facile d’accès destiné à l’administration wallonne

(essentiellement). L’idée est de donner des lignes directrices de manière à améliorer la

préparation et la conduite des évaluations en Wallonie. En ce qui concerne les méthodes de

199 Á l’instar de ce que S. Jacob et F. Varone avaient observé au niveau fédéral.200 Berthet T., « Les enjeux de l’évaluation territoriale des politiques publiques », Informations sociales, Vol. 8, n° 150, 2008, p. 137. 201 Ceux-ci ont pourtant le vent en poupe au niveau international.202 Impossibilité de recourir à un groupe de contrôle ou absence de données statistiques satisfaisantes, par exemple.203 Par exemple, lorsqu’on cherche à mesurer l’effet d’une mesure sur l’emploi.204 Perspective Consulting a conçu en interne des documents sur lequel ils se basent pour réaliser leurs évaluations. Par ailleurs, il apparait que les grands cabinets d’audit se basent moins sur des instruments spécifiques à l’évaluation que sur leurs outils habituels qu’ils adaptent à la sauce évaluation.

62

collecte et d’analyse des données, les évaluations se fondent sur différentes méthodes des

sciences humaines tant qualitatives (entretiens, focus group, analyses documentaires, analyses

de contenu, etc.) que quantitatives (enquêtes par questionnaire, analyses statistiques205).

5.3. Principaux enseignements

Les évaluations menées en Wallonie semblent de qualité inégale. En tout état de cause la

qualité des évaluations résulte pour beaucoup des cahiers des charges (et non de la forme

institutionnelle). De manière générale, il apparait que les travaux se soient améliorés depuis

une dizaine d’années, signe d’un phénomène d’apprentissage. Notons également que les

évaluations portent sur la mise en œuvre et les effets des politiques même si les évaluateurs ne

mettent que très rarement en œuvre des méthodes sophistiquées pour isoler ces effets. Cette

qualité inégale doit être considérée comme le signe d’une faible institutionnalisation de

l’évaluation.

6. La diffusion et l’utilisation des évaluations

6.1. Diffusion des évaluations

6.1.1. Collecte des données

Afin de nous faire une idée de la publicité des évaluations, nous avons effectué une recherche

sur internet concernant les évaluations que nous avons répertoriées. En outre, nous avons

cherché à savoir si la presse francophone traitait de ces évaluations. Bien entendu, il est

probable que différentes évaluations non publiées aient été diffusées auprès d’un cercle plus

ou moins restreint d’acteurs (cabinets, CESW, Parlement, etc.). Nous n’avons pas pu

déterminer les contours de ce cercle pour chaque cas.

6.1.2. Analyse des résultats

Sur les 48 évaluations que nous avons recensées, 22 sont publiées (notons que 8 évaluations

sont en cours d’élaboration). Plusieurs remarques peuvent être formulées par rapport à ces

résultats. D’abord, si la plupart des rapports son publiés, nous constatons que la publication

des évaluations est loin d’être automatique. Signalons tout de même que certains acteurs (la

Cour des comptes, l’IWEPS, la Dics, les évaluations qui résultent d’obligations européennes)

publient systématiquement leurs travaux. Ensuite, il faut bien reconnaitre que, en raison de

l’absence de portail qui centralise l’ensemble des évaluations produites, il n’est pas toujours

205 On se limite habituellement à de la statistique descriptive.

63

évident de trouver les rapports. Il est d’ailleurs probable que nous n’ayons pas trouvé certains

travaux qui sont pourtant présents sur internet. En outre, les évaluations ne prévoient que très

rarement une stratégie de diffusion des résultats au-delà de l’instance d’évaluation. Il apparait

que l’on demande régulièrement aux évaluateurs de présenter les résultats de leur travail mais

ce n’est pas systématique et cela se fait au cas par cas. De la même manière, la présentation

des résultats au Parlement est peu fréquente et résulte souvent de la demande d’un ou

plusieurs parlementaires plutôt que d’une stratégie préalable. Enfin, même lorsque les

rapports sont publiés, ils ne rencontrent qu’un faible écho dans la presse. Seuls quelques

enjeux polémiques où centraux suscitent l’attention : évaluation du CWATUPE, du plan

Marshall ou du contrat de gestion du FOREM par exemple.

La non-publication des résultats peut trouver plusieurs explications. D’une part, les autorités

ne souhaitent pas toujours exposer les défaillances et points négatifs relevés dans les rapports

d’évaluation. D’autre part, il est possible que les « institutions traditionnelles qui

s’investissent dans des missions évaluatives reproduisent les procédures et modes de travail

qu’elles connaissaient jusqu’alors sans considérer l’évaluation comme une pratique pouvant

être transparente »206.

6.2. Utilisation des évaluations

6.2.1. Collecte des données

Les informations présentées dans cette partie se basent essentiellement des lectures et des

entretiens menés avec Béatrice Van Haeperen (IWEPS), Cécilia De Decker (Perspective

Consulting) et Romain Dumont (Cabinet Marcourt). Compte tenu du peu de données dont

nous disposons207, plutôt que de prétendre apporter des résultats nuancés et exhaustifs sur le

sujet, nous présentons une image schématique de la situation wallonne. Ici aussi, une

recherche plus approfondie mérite d’être menée.

6.2.2. Analyse des résultats

A l’instar de ce que S. Jacob et F. Varone observaient au niveau fédéral et à la Communauté

française, il semble que la valorisation politique des conclusions et recommandations des

évaluations soit plutôt faible et non systématique. Si les rapports d’évaluation ne suscitent que

modérément l’intérêt, relevons tout de même que les évaluations réalisées ou à réaliser

inspirent aux parlementaires bon nombre de questions et interpellations. Ainsi, pour la 206 Jacob S. (1), Op. Cit., p. 134.207 Pour une véritable recherche sur le sujet, une analyse au cas par cas est nécessaire.

64

législature actuelle et bien que ce chiffre comporte de sérieuses limites208, pas moins de 173

questions et interpellations contiennent le mot évaluation dans leur titre. Néanmoins, il semble

que les réponses et les débats y afférents s’inscrivent davantage dans la controverse partisane

que dans une réelle discussion de fond quant aux problèmes soulevés par l’évaluation.

Concernant leur utilisation, il apparait que les évaluations conduisent, plutôt à des

modifications incrémentales sans remettre fondamentalement en cause les politiques évaluées.

Dans certains cas, les évaluations n’apportent rien du tout. Á cet égard, l’exemple de

l’évaluation du dispositif IDESS est symptomatique. En effet, dans ce cas, le Gouvernement a

modifié le décret sans attendre les résultats de l’évaluation. Du côté des évaluateurs, il est

généralement difficile de déterminer dans quelle mesure leurs évaluations sont utilisées. Á

propos de l’évaluation du plan Marshall, Béatrice Van Haeperen déclarait : « On ne sait pas

exactement ce qui a été repris et ce qui n’a pas été repris parmi les recommandations

formulées, ni dans quelle mesure et pourquoi. On ne retrouve pas dans les détails les

recommandations ».

L’abondante littérature concernant l’utilisation des évaluations209 avance différentes raisons

susceptibles d’expliquer un déficit d’utilisation: crédibilité de l’évaluateur, qualité de

l’évaluation, absence de stratégie de communication210, de diffusion et de valorisation du

rapport, manque d’implication des parties prenantes dans le processus, non concordance des

agendas politiques et évaluatifs211. Quoi qu’il en soit, il semble que la principale raison réside

dans un certain désintérêt des décideurs politiques envers l’évaluation.

6.2.3. Principaux enseignements

Bien que largement répandue, l’évaluation de politiques publiques ne suscite qu’un intérêt

limité auprès des dirigeants wallons. Par ailleurs, si la moitié des rapports sont publiés, les

évaluations ne font que très rarement l’objet d’une stratégie de communication, de diffusion et

de valorisation politique. Á ce sujet, signalons que l’opposition avait proposé, lors de la 208 Le chiffre est le fruit d’une recherche sur le site du parlement wallon. Il est certain que toutes les occurrences ne font pas références à l’évaluation de politiques publiques.209 Voyez par exemple : Viel A., « L’utilité de l’évaluation : des conditions favorables et des pratiques variées », Télescope, Vol. 13, n° 1, 2006, pp. 31-36, Balthasar A., « Institutional Design and Utilization of Evaluation: A Contribution to a Theory of Evaluation Influence Based on Swiss Experience », Evaluation Review, n° 33, 2008, pp. 226-256. 210 La présentation des rapports est importante. A ce sujet, Romain Dumont avouait que les rapports étaient peu consultés dans les cabinets et sans doute au Parlement car ils sont généralement lourds à lire, d’où l’importance de prévoir un résumé par exemple. 211 C’était le cas pour l’évaluation du dispositif IDESS : l’évaluateur a respecté les délais mais le gouvernement (qui est aussi le commanditaire) a tout de même modifié la réglementation IDESS pendant l’évaluation : alors que l’évaluateur rend ses conclusions en juillet 2009, le gouvernement modifie l’arrêté en mai, juste avant les élections de juin. De ce fait, le rapport n’a pas été utilisé.

65

création de l’IWEPS, un amendement qui visait à faire de l’Institut un carrefour au sein

duquel toutes les études wallonnes seraient accessibles au public et publiées sur le site de

l’Institut. La majorité n’a pas voulu voter cet amendement prétextant un risque de dérive et de

dévoilement d’informations délicates.212

Par ailleurs, il est difficile de déterminer dans quelle mesure, comment et pourquoi les

conclusions et recommandations des évaluateurs sont utilisées ou pas. Les rapports semblent

être utilisés au cas par cas au gré des opportunités politiques qui se présentent mais sont

rarement envisagés comme un véritable instrument de refonte d’une politique. Au mieux, ils

permettent une adaptation incrémentale des politiques, au pire ils ne sont pas utilisés du tout.

Ces éléments tendent à nous montrer une faible institutionnalisation de la pratique.

7. Conclusions

Depuis une vingtaine d’années, un processus d’institutionnalisation de l’évaluation s’est

indéniablement mis en marche en Wallonie. Celui-ci a emprunté diverses voies qui se

matérialisent dans la coexistence de différents modèles institutionnels (évaluation externe

après appel d’offre, évaluation de l’IWEPS, évaluation interne à l’administration centrale,

évaluation menées par les OIP, évaluation de la Cour des comptes).

Globalement, il apparait, au regard des différents dimensions et indicateurs que nous avons

distingués, que le degré d’institutionnalisation de l’évaluation des politiques publiques en

Wallonie se situe à un niveau intermédiaire. D’un côté, nous avons montré que la pratique

évaluative est largement présente au sein de l’exécutif wallon même si on ne peut pas parler

de systématisation de l’évaluation en vue de la décision publique. D’un autre côté, la pratique

est éclatée entre de nombreux acteurs et instances qui s’inscrivent dans différent modèles

institutionnels. Tout se passe comme si chacun menait ses évaluations au cas par cas, de

manière isolée et non coordonnée. En outre, l’évaluation souffre souvent d’une absence de

réflexion préalable sur les questions et finalités d’évaluation, à charge pour l’évaluateur de

définir lui-même le format de son évaluation. Ce flou dans les attentes du commanditaire s’est

notamment traduit par une forte hétérogénéité des produits réalisés. Ceci aboutit à des travaux

de qualité inégale et de nature différente allant du simple rapport de mise en œuvre à la

mesure et au jugement sur les effets des politiques. Enfin, les évaluations ne suscitent qu’un

intérêt limité et semblent n’être utilisées qu’au cas par cas au gré des opportunités politiques

212 Parlement wallon, débat en Commission relatif au projet de décret créant l’IWEPS.

66

qui se présentent en étant rarement envisagées comme un véritable instrument de refonte

d’une politique.

Lorsqu’on positionne la Wallonie dans les classements internationaux (Furubo-Rist et Jacob-

Varone), elle se situe parmi des pays qui ont des degrés de maturité et d’institutionnalisation

de l’évaluation plutôt élevé (voyez l’Annexe 14). Ceci ne doit pas nous surprendre dans la

mesure où les indicateurs retenus dans ces classements se concentrent sur les signes formels

d’institutionnalisation et ne reflètent qu’imparfaitement la pratique évaluative effective.

67

CHAPITRE   3 : LES FACTEURS D’INSTITUTIONNALISATION

Après avoir présenté un état des lieux du degré d’institutionnalisation de l’évaluation des

politiques publiques en Wallonie, nous souhaitons dans ce chapitre mettre l’accent sur

quelques facteurs d’institutionnalisation de la pratique. Dans cette optique, nous nous sommes

concentrés sur trois hypothèses développées dans la littérature. Après une mise en perspective

théorique, nous testerons chacune de ces hypothèses pour le cas wallon.

La première porte sur phénomène d’européanisation qui traverse l’action publique et peut être

formulée comme suit : L’institutionnalisation de l’évaluation des politiques publiques en

Wallonie résulte des exigences européennes en la matière.

La seconde traite des évolutions propres au secteur public : L’institutionnalisation de

l’évaluation des politiques publiques en Wallonie résulte du processus de modernisation de

l’action publique et des réformes inspirées par le New Public Management.

La troisième s’interroge sur l’évaluation en tant que réponse à une crise de légitimité de

l’action publique : L’institutionnalisation de l’évaluation des politiques publiques en Wallonie

répond à une crise de légitimité de l’action publique.

Nous sommes conscients des limites et difficultés qui se posent lorsque l’on cherche à isoler

quelques facteurs explicatifs d’un mouvement complexe où des causalités multiples,

interdépendantes voire circulaires agissent. Toutefois, l’exercice que nous entreprenons

permet de poser de manière simple et compréhensible quelques éléments qui nous semblent

éclairants. Il est évident pour nous que les facteurs que nous avons retenus ne suffisent pas à

eux seuls à expliquer la dynamique d’institutionnalisation de l’évaluation des politiques.

D’autres variables explicatives plus directement orientées vers les acteurs mériteraient sans

doute d’être ajoutées au modèle présenté. Ainsi, en est-il de l’influence des partis politiques

(ou de quelques entrepreneurs politiques), du monde académique et de groupes d’intérêt dans

le développement de l’évaluation. Un regard spécifique pourrait également être porté sur les

phénomènes de déficit budgétaire, de complexification de l’action publique et de pathologie

législative. Nous ne pourrons pas traiter de tous ces éléments dans le cadre de ce mémoire.

68

1. L’européanisation de l’action publique

1.1. Le processus d’européanisation

L’européanisation, comme bon nombre de concepts en sciences humaines, recouvrent de

multiples significations.213 Dans le cadre de ce travail, nous définissons l’européanisation

comme l’impact qu’ont les institutions et les politiques européennes sur les systèmes

nationaux et sub-nationaux de gouvernance. Plus précisément il s’agit d’un « processes of

construction, diffusion and institutionalization of formal and informal rules, procedures,

policy paradigms, styles, ‘ways of doing things’ and shared beliefs and norms which are first

defined and consolidated in the making of EU public policy and politics and then incorporated

in the logic of domestic discourse, identities, political structures and public policies »214. Dans

cette perspective, « Europeanization implies adapting national and sub-national systems of

governance to a European political center and European-wide norms »215.

Très schématiquement, la littérature distingue trois grands types de mécanismes à travers

lesquels le niveau européen exerce une influence sur les niveaux nationaux ou régionaux.216

Le premier processus est fondé sur la contrainte : dans ce cas, l’influence sur le niveau

domestique s’exerce à travers des pressions à l’adaptation initiées au niveau européen

(coercitive transfer). La contrainte, plus ou moins forte selon les cas, résulte du fait que des

sanctions peuvent être infligées aux territoires qui ne se conforment pas. Différentes formes

de contraintes peuvent être conceptualisées à travers les notions de « semi-coercive,

conditionality and obligated transfer »217. Le deuxième processus repose sur l’apprentissage

(experiential learning, lesson drawing). Concrètement, il s’agit d’un processus volontaire à

travers lequel des politiques, arrangements institutionnels et idées discutés au niveau européen

et généralement considérés comme de « bonnes pratiques » sont utilisés dans la scène

domestique. Dans ce modèle aussi appelé de « coordination facilitée »218, l’Union européenne

opère en tant que forum et plate-forme pour les transferts de politiques publiques. Le

213 Voyez Olsen J. P., « The many faces of Europeanization », Arena working paper, 2002. http://www.ceses.cuni.cz/CESES-141-version1-2_1__Olsen_The_many_faces_of_Europeanization_2001.pdf 214 Radaelli C. (1), « The domestic impact of European union public policy: note on concepts, methods, and the challenge of empirical research », in Rivaud P. et Smith A. (dir.), La commission européenne : les dynamiques d'une reconfiguration institutionnelle, L’Harmattan, 2002, p. 108.215 Olsen J. P., Op. Cit., p. 4.216 Nombre de ces processus se retrouvent sous l’appellation largement diffusée de policy transfer. Dans la mesure où cette dernière est justement critiquée parce qu’elle ignore la multiplicité des processus de transfert, nous ne l’utiliserons pas dans le cadre de ce mémoire. Benson D. et Jordan A., « What Have We Learned from Policy Transfer Research? Dolowitz and Marsh Revisited », Political Studies Review, Vol. 9, 2011, pp. 366-378. 217 Benson D. et Jordan A., Op. Cit., p. 370.218 Radaelli C. (2), « Européanisation », in Boussaguet L. et al., Dictionnaire des politiques publiques, Presses de Science Po, 2010, p. 254.

69

troisième modèle se base sur la sélection concurrentielle (competitive selection). Dans ce

cadre que l’on pourrait qualifier de darwinisme institutionnel, seules les institutions et les

acteurs les plus adaptés subsistent. « Institutions and actors are fixed and their survival and

growth rates depend on their performance, comparative advantages and how well they

"match" their changing functional and normative environments. Only the most efficient

institutions survive. The others disappear. »219. D’autres auteurs parlent plutôt d’intégration

négative où l’Union européenne ne prescrit pas de modèle mais impose la suppression des

barrières nationales. « They do not say how a market should be governed in terms of

institutional models, but typically emphasize the role of mutual recognition once the barriers

have been removed. The key mechanism triggered by ‘negative integration’ via mutual

recognition is regulatory competition »220 221.

Les réponses domestiques à ces processus d’européanisation vont largement dépendre du jeu

des acteurs et des configurations institutionnelles propres à chaque scène locale. D’un point

de vue théorique, C. Radaelli différencie quatre réponses possibles, qui couvrent tant la

magnitude que la direction du changement, au processus d’européanisation : l’inertie (=

absence de changement), l’absorbation (= adaptation, prise en compte des exigences

européennes sans réelles modifications des structures essentielles et de la logique profonde du

comportement politique), la transformation (changement paradigmatique222) et le

retranchement (retrenchment = opposition à la politique européenne).223

Nous allons tenter de mobiliser ces concepts afin d’analyser le processus

d’institutionnalisation de l’évaluation des politiques publiques en Wallonie.

1.2. L’influence communautaire en matière d’évaluation

La Commission européenne a assez rapidement accordé une attention toute particulière à

l’évaluation singulièrement dans le cadre de la politique de recherche scientifique et

technologique. « Dès le début des années 1970, des structures ad hoc ont été mises en place et

219 Olsen J. P., Op. Cit., p. 14.220 Radaelli C. (1), Op. Cit., p. 123.221 « The abolition of trade barriers for beer, for instance, has no direct impact on how the production of beer is regulated at the national level. It only implies that beer can be freely sold in other member states, hence altering strategic opportunities and constraints for domestic producers and consumers ». Knill C. et D. Lehmkuhl , « How European matters: different mechanisms of Europeanization », European Integration online Papers, Vol. 3, n° 7, 1999, http://eiop.or.at. 222 Cela correspond au changement de troisième ordre conceptualisé par P. Hall. « Paradigmatic change occurs when the fundamental logic of political behavior changes – for example, a change in the format and mechanics of party systems, or the adoption of a new orthodoxy in monetary policy ». Radaelli C. (1), Op. Cit., p. 117.223 Radaelli C. (1), Op. Cit., pp. 116-117.

70

une réflexion méthodologique s'est esquissée »224. En janvier 1974, le Conseil a par exemple

lancé un premier programme d'action en matière d'évaluation et de méthodologie. Ces

premiers travaux menés en collaborations avec différents centres universitaires mettaient

l’accent sur les modèles économiques formalisés pour évaluer les impacts.225 Durant les

années qui suivent, la Commission a organisé plusieurs séminaires et colloques sur

l'évaluation, associant des experts européens, américains ou japonais.226 A partir de 1983, des

règles précises ont été adoptées et une unité indépendante allait être chargée de piloter toutes

les évaluations menées par la DG « Science, Recherche et Développement ».227 « Des

pressions [étaient] exercées dans ce sens par les parlementaires et les administrations

nationales essentiellement anglais et hollandais ; les uns par contestation du rôle de la

Commission, les autres par culture démocratique »228. Avec l’adoption de l’Acte Unique

Européen, l’évaluation s’étend à d'autres domaines, comme celui de la cohésion économique

et sociale. Dans les années 90, le budget consacré par la Commission à l’évaluation s’accroit

de façon significative et représente un poste de dépenses important (proportionnellement plus

important qu’au sein des gouvernements nationaux). Le développement de l’évaluation au

niveau européen est à la fois lié à la volonté des pays contributeurs de contrôler la destination

de leurs aides (dans un contexte d’augmentation des contributions financières consenties par

les États membres) et à la nécessité de consolider la légitimité des instances européennes. Le

renforcement de l’évaluation au niveau communautaire n’est pas sans conséquence au niveau

régional notamment à travers les programmes structurels. De très nombreux auteurs ont

souligné le rôle prépondérant de l’Union européenne dans la diffusion de l’évaluation.229

Comme le souligne L. Jourdain, « les instances communautaires publient ou suscitent la

publication d'un nombre croissant de rapports destinés à mesurer, à capitaliser et à afficher les

"impacts" de leurs programmes. Associés d'une façon ou d'une autre à cette pratique, les

acteurs nationaux sont amenés à l'intégrer, ou tout du moins à en accepter le principe : la

Communauté européenne suscite ou conforte au sein des Etats membres une tendance au

"pilotage ex post" ("par les conséquences") de l'action gouvernementale »230. En fait, il

224 Jourdain L., Op. Cit., p. 149.225 Maraitre A., « La Commission européenne, acteur du développement de l’évaluation au niveau régional », L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, p. 28-29.226 Ibid., p. 149.227 Ibid., p. 149.228 Monnier É. (1), « L’évaluation au sein des régions françaises et de la Commission Européenne : son rôle dans le cadre du partage des responsabilités », The Canadian Journal of Program Evaluation, Vol. 10, n° 1, pp. 139-140.229 Voyez Fouquet A. et Méasson L., L’évaluation des politiques publiques en Europe. Cultures et futurs, L’Harmattan, Grenoble, 2009.230 Jourdain L., Op. Cit., p. 147.

71

apparait que, à partir des années 90, les exigences communautaires en matière d’évaluation,

singulièrement dans le cadre de la réforme des fonds structurels de 1993, ont eu une influence

considérable sur le développement de la pratique. Comme l’explique J. Toulemonde « to

understand this influence we need to bear in mind that the obligation to evaluate programmes

was imposed on several hundred regional authorities. Quantitatively, evaluation practice

developed spectacularly. The number of programme evaluations in the context of the

Structural Funds was multiplied by five or six, compared to the period 1989–1993 » 231. Il

s’agit là d’une obligation unique au monde de par son ampleur tant géographique que

financière. Au final, en raison de l’intervention européenne, « one can safely say that by the

end of 1990s no European country was unfamiliar with evaluation, and that the quality of this

practice had increased considerably »232.

1.3. Le cas Wallon

Qu’en est-il au niveau wallon ? Comme nous l’avons déjà mentionné, le point de départ de

l’institutionnalisation de l’évaluation des politiques publiques en Wallonie réside dans

l’obligation européenne de procéder à l’évaluation systématique des programmes structurels

financés par l’Union avant, pendant et après leur mise en œuvre. Cette obligation s’est

véritablement formalisée à partir de la période 1994-1999233 à travers le règlement CEE

n°2080/93 du Conseil du 20 juillet 1993 qui rend obligatoire l’évaluation des opérations

financées avec l’aide des fonds structurels européens.234 Au-delà de l’obligation d’évaluer, les

nouveaux règlements européens introduisent plusieurs exigences majeures. D’abord, ils

emportent une obligation de rendre explicites les critères et procédures d’évaluation. C’est

dans ce contexte que la Commission européenne va lancer le programme MEANS (Méthodes

d’évaluation des actions de nature structurelle), qui vise à développer et à harmoniser les

méthodes d’évaluation des programmes structurels dans les États membres.235 Ensuite, « la

Commission européenne a également imposé que les évaluations régionales soient réalisées

par des évaluateurs indépendants, entendus comme des « prestataires » extérieurs désignés

après une procédure d’appel d’offre »236. Enfin, les règlements européens ont initié une

231 Toulemonde J., « Evaluation Culture(s) in Europe: Differences and Convergence between National Practices », Vierteljahrshefte zur Wirtschaftsforschung, n° 3, 2000, p. 352. 232 Ibid., p. 352.233 Les obligations européennes datent de la période 1989-1994. Mais les évaluations réalisées durant cette période n’ont pas été systématiques ni de très grande qualité malgré cette contrainte et les efforts déployés au niveau de la Commission.234 Agarkow J.-M. et Vandendorpe L., Op. Cit, p. 84.235 Vandendorpe L. (1), Op. Cit., p. 69.236 Vandendorpe, L. (2), Op. Cit., p. 106

72

institutionnalisation des instances d’évaluation. Dans ce cadre, la Région wallonne a conçu un

modèle d’évaluation en continu à travers la mise en place de comités d’accompagnement et de

suivi chargés de discuter systématiquement de l’état d’avancement et des résultats des

évaluations menées.237 On le voit bien, les obligations européennes ne se limitent donc pas à

une obligation d’évaluation mais instituent un véritable modèle d’évaluation basé sur

l’intervention de prestataires externes, la promotion de méthodes spécifiques et la mise en

place d’instances d’évaluation. Au final, « Le FEDER et les exigences d’évaluation qui ont

accompagné sa mise en œuvre ont diffusé la culture de l’évaluation en Europe. Bien des

autorités de gestion n’auraient tout simplement pas, sans cette obligation, réservé des moyens

financiers et humains pour réaliser ces évaluations, jugées trop exigeantes voire superflues car

peu ancrées dans les traditions administratives »238.

Dès 1994, La Wallonie a été directement concernée par ces nouvelles obligations dans la

mesure où le Hainaut était éligible aux fonds structurels dans le cadre de l’ « objectif 1 ».

Ainsi, « dès juillet 1994, le premier comité de suivi se met en place et définit une procédure

de marchés publics qui va conduire à l’attribution de l’évaluation des mesures FEDER-

FEOGA-IFOP au consortium SEMA Group-DULBEA-FUCAM et à l’attribution des mesures

SFE au consortium RUDER-UCL »239.

Durant cette première phase (1994-1999 : phase règlementaire), l’Union européenne exerce

une influence directe sur le niveau wallon à travers un mécanisme fondé essentiellement sur la

contrainte. Plus spécifiquement, il s’agit d’un conditionality transfer dans la mesure où

l’octroi des aides européennes est conditionné à la réalisation d’évaluations. Ces obligations

ont forcé les décideurs wallons à réagir. La réponse wallonne a consisté, durant cette première

phase, à adapter sa gestion des programmes européens aux nouvelles exigences en matière

d’évaluation. Si l’on reprend la grille d’analyse de C. Radaelli, on peut parler d’absorbation,

c’est-à-dire d’une prise en compte des exigences européennes sans réelle modification des

structures essentielles et des logiques profondes du comportement politique. Autrement dit,

ces premières obligations européennes n’ont pas transformé fondamentalement la manière

d’envisager et d’élaborer les politiques publiques au niveau wallon. Néanmoins, elles ont

permis d’enregistrer un certain nombre d’innovations.240 Primo, elles ont installé la procédure

237 Ibid., p. 107.238 Riché M., « Une évaluation au service des politiques de développement régional (FEDER 2007-2013) », in Fouquet A. et Méasson L., L’évaluation des politiques publiques en Europe. Cultures et futurs, L’Harmattan, Grenoble, 2009, p. 52.239 Vandendorpe L. (1), Op. Cit., p. 69.240 Vandendorpe, L. (2), Op. Cit., p. 106-109.

73

de désignation des évaluateurs indépendants par appel d’offre. Secundo, elles ont établi les

comités de suivi et d’accompagnement. Tertio, elles ont permis de développer un modèle

économétrique destiné à évaluer les impacts des fonds structurels dans la province du

Hainaut.

Dans une seconde phase (1999-2004 : phase d’appropriation), on a assisté à une progression

et une amélioration des pratiques d’évaluation menées dans le cadre des Fonds structurels. La

modélisation économétrique est complétée et développée. « D’une conception ponctuelle de

l’évaluation, la Région wallonne a ainsi évolué vers la constitution d’un « inventaire »

permanent de l’économie hennuyère et tend ainsi vers une démarche d’évaluation

permanente, via un modèle économétrique régional »241. Au niveau des mécanismes

d’européanisation à l’œuvre, il apparait que la coercition s’est doublée d’un processus

d’apprentissage. Cet apprentissage est d’ailleurs encouragé au niveau européen avec la

création d’un réseau européen d’évaluation et la promotion des méthodes MEANS. Le réseau

européen d’évaluation constitue une plateforme multi latérale d’échanges et de coopérations

qui se réunit deux ou trois fois par an.242 Les productions du programme MEANS constituent

une somme d'expériences, de réflexions et d'innovations méthodologiques qui font l’objet

d’une collection de cahiers. En outre, ont été réalisés des bulletins trimestriels, des notes

méthodologiques, des séminaires de formation et plusieurs conférences européennes (qui

réunissent plusieurs centaines de praticiens de l'évaluation des programmes des Fonds

structurels).243 Durant cette période, il semble que les autorités wallonnes se soient, dans le

cadre des politiques structurelles, véritablement appropriées l’outil évaluatif. « C’est ainsi que

la Région wallonne a transformé l’évaluation comme obligation réglementaire en évaluation

comme outil de gestion des Fonds structurels. Elle s’est appropriée cette contrainte externe

pour en faire un outil de gestion interne et moderniser ainsi ses procédures de management

des programmes structurels »244. Cette appropriation a bouleversé la gestion, la conception et

la manière d’envisager les programmes européens au niveau wallon. En ce qui concerne les

fonds européens, on peut ici parler de transformation (changement paradigmatique), pour

reprendre les termes de C. Radaelli. Au-delà des fonds FEDER, l’Union impose également la

réalisation d’évaluations dans le cadre du Fonds social européen, du Programme wallon de

développement rural et via des clauses évaluatives insérées dans les directives. Sur les 48

évaluations recensées, 8 concernent directement des obligations européennes.

241 Vandendorpe L. (1), Op. Cit., p. 75.242 Maraitre A., Op. Cit., p. 33.243 Collection MEANS, Évaluer les programmes socio-économiques, Commission Européenne, 1999, p. 5.244 Vandendorpe, L. (1), Op. Cit., p. 71.

74

Par ailleurs, il apparait que l’influence communautaire ne se limite pas aux seules obligations

européennes. En effet, en utilisant l’outil évaluatif dans le cadre des fonds structurels, les

autorités wallonnes se sont familiarisées avec différents concepts, méthodes et modes de

gouvernance. Ainsi, certains décideurs wallons se sont saisis de l’outil pour l’étendre à

d’autres sphères d’activité particulièrement dans le secteur économique. Cela a notamment été

le cas pour la réforme des aides à l’investissement dans les entreprises.245 Dans la foulée, la

première évaluation du Contrat d’Avenir pour la Wallonie (CAW) se fait suivant le modèle

européen d’appel à un prestataire extérieur.

Á partir de 2004, on entre dans une phase d’institutionnalisation formelle qui voit se

concrétiser deux tendances. D’une part, l’institutionnalisation de l’évaluation des programmes

européens se renforce encore à travers la création d’instances et de cellules spécifiques aux

fonds structurels au sein de l’appareil administratif wallon. En effet, l’Arrêté du

Gouvernement wallon du 1er février 2007 relatif au cadre organique du Service public de

Wallonie institue, au sein du Secrétariat Général, le Département de la Coordination des fonds

structurels. Celui-ci est composé de trois directions dont une dédiée à l’Animation et à

l’Évaluation des programmes « fonds structurels » (DAE). La DAE est chargée d’assurer le

suivi du processus d'évaluation des programmes, notamment au travers de Comités

d'accompagnement qui se réunissent régulièrement et qui regroupent tous les acteurs des

projets concernés. Une cellule comparable a été instituée au sein de la DGO4 pour les

programmes européens de développement rural.

D’autre part, avec le développement et la propagation de l’évaluation des politiques publiques

au niveau wallon, on note une volonté de la part de certains acteurs de s’écarter du modèle

européen. En effet, suite à la première évaluation externe du CAW en 2001, il a été prévu que

« l’évaluation externe sera poursuivie en 2002 et que le processus d’évaluation sera

progressivement internalisé »246 afin de permettre à l’administration wallonne d’intégrer la

pratique de l’évaluation.247 En fait, on s’est interrogé sur la notion d’indépendance de

l’évaluateur externe rémunéré par son mandataire et sur le coût que représentent ces

évaluations externes. Le Parlement wallon a alors opté pour une internalisation la démarche

d’évaluation au sein de l’administration (au sens large) considérée comme garante de

l’indépendance et de l’intérêt public.248 C’est dans ce contexte que le législateur wallon a

décidé, par un décret de décembre 2003, de transformer le Service des Etudes et de la 245 Vandendorpe, L. (2), Op. Cit., p. 108.246 Gouvernement wallon, Communiqué de presse du 5 septembre 2002.247 Jacob S. et Varone F. (3), Op. Cit., p. 105.248 Ibid., p. 105.

75

Statistique (SES) en Institut Wallon de l’Evaluation, de la Prospective et de la Statistique

(IWEPS). Après s’être approprié le modèle européen, les dirigeants wallons accommodent

l’instrument aux spécificités locales et à leur volonté.

Par ailleurs, on remarque que, depuis quelques années, la Commission encourage de plus en

plus l’emploi d’évaluations contrefactuelles d’impacts (expérimentales ou quasi

expérimentales). Sur ce point, comme nous l’avons déjà souligné, il faut bien reconnaitre que

les initiatives communautaires sont encore sans véritable effet au niveau wallon (sauf peut-

être auprès de certains centres de recherche).

Au final, l’Union européenne a exercé une influence considérable sur l’institutionnalisation de

l’évaluation en Wallonie. En effet, c’est elle qui a impulsé le mouvement à travers son

obligation d’évaluation des programmes structurels.249 La Wallonie a alors été contrainte

d’adapter son mode de gestion interne pour se conformer aux exigences externes. Par la suite,

elle a pu, suite à un processus d’apprentissage, s’approprier l’évaluation et même l’étendre à

d’autres secteurs d’activités. Enfin, alors que l’institutionnalisation des évaluations des

programmes européens se consolide, les dirigeants wallons se sont en partie écartés du

modèle européen en accommodant l’instrument à travers une internalisation partielle de la

procédure d’évaluation au sein de l’administration (IWEPS et évaluations internes).

Les obligations européennes ont profondément changé la manière d’appréhender les

programmes européens en instaurant des évaluations systématiques qui s’inscrivent au cœur

de leur management. Il n’en demeure pas moins que ce type de gestion est loin de s’être

généralisé pour l’ensemble des politiques publiques comme le montre nos données sur la

pratique évaluative. Par ailleurs, si les obligations européennes en matière d’évaluation

constituent un point initial essentiel dans l’institutionnalisation de l’évaluation, elles ne sont

pas suffisantes (à elles seules) pour l’expliquer entièrement. D’autres facteurs semblent à

l’œuvre.

2. La modernisation administrative inspirée du New Public Management

2.1. Le New Public management (NPM)

Depuis qu’elles existent, les administrations suscitent, de manière récurrente mais selon des

préceptes renouvelés, des vagues successives de modernisation.250 Depuis une trentaine

249 C’est sans doute, d’ailleurs, la raison pour laquelle l’institutionnalisation de l’évaluation semble davantage développée au niveau Wallon qu’à l’échelon fédéral.250 Pour le cas belge Thijs N. et Van de Walle S., « De Ducpétiaux à Copernic : 150 ans de réformes administratives en Belgique », Administration Publique trimestrielle, 2005, pp. 33-50.

76

d’années, la mouvance du New Public Management (NPM) constitue indéniablement le

paradigme dominant des réformes administratives entreprises au sein de nombreux États de

l’OCDE. « La crise des finances publiques, le mécontentement des citoyens vis-à-vis des

prestations administratives, le développement des technologies de l’information ont été autant

d’arguments pour affirmer la nécessité de « Réinventer le gouvernement » aux États-Unis ou

d’adopter une « Nouvelle Gestion Publique » (NGP) dans les pays du Commonwealth, au

Benelux et en Suisse »251. Bien que le NPM se réfère à un large spectre d’innovations, de

pratiques et de discours, il peut être compris, de manière large, comme l’application dans la

sphère publique de techniques de management et formes organisationnelles inspirées du

secteur privé : la définition d’objectifs quantitatifs pour l’exécution des politiques publiques,

la focalisation sur les prestations fournies plutôt que sur la procédure à suivre, la réduction des

coûts de production des services publics, la gestion d’une unité administrative par un manager

allouant librement ses ressources, la motivation du personnel par des incitations pécuniaires,

la garantie d’une liberté de choix aux usagers, etc.252. En résumé, le NPM « vise à faire des

administrations traditionnelles des organisations orientées vers la performance »253. « D’un

point de vue théorique, le NPM est un concept qui puise ses fondements dans de nombreux

courants de pensée (courant néoclassique, théorie des organisations, théorie de l’agence,

théorie des droits de propriété, etc.) et qui par bien des aspects rejoint l’idéologie du Public

Choice reposant sur l’individualisme méthodologique […], le recours aux privatisations et

une plus grande souplesse et décentralisation des unités administratives »254. Le NPM fonde

une conception de l’administration qui repose sur les trois E « Économie, Efficacité,

Efficience » et s’oppose à la conception wébérienne pour laquelle l’idéal type de la

bureaucratie est la condition même de l’efficacité à travers sa dimension rationaliste.

Bon nombres d’auteurs ont cherché à clarifier les contours du NPM en identifiant ses

éléments constitutifs. Les tableaux présentés à l’Annexe 15 fournissent un aperçu des

différents principes, outils et actions qui s’inscrivent dans le NPM. Quelle est la place de

l’évaluation dans cet univers ?

251 De Visscher C. et Varone F. (2), « La Nouvelle Gestion publique « en action » », Revue internationale de politique comparée, Vol. 11, n° 2, 2004, p. 177.252 Ibid., p. 179.253 Ibid., p. 179.254 Amar A. et Berthier L., « Le Nouveau Management Public : Avantages et Limites », Revue du RECEMAP, 2007, p. 3. http://www.unice.fr/recemap/contenurevue/Articles/Revue_Recemap13_Amar_Berthier.pdf

77

2.2. L’évaluation des politiques publiques dans l’univers du NPM

L’évaluation des politiques publiques semble trouver une place ambivalente dans la

mouvance du NPM. Comme le mentionne Gruening G., l’évaluation des politiques publiques

constitue une caractéristique débattue (debatable attribute) du NPM qui est souvent

mentionnée mais non sans équivoque.255

Une première perspective considère que l’évaluation est amenée à jouer un rôle central dans

le cadre des innovations inspirées du NPM. L’orientation vers les performances appelle la

mise en place d’indicateurs et d’évaluations des résultats. « Assessment of performance or

output and comparing it to initial targets or contractual commitments is central to the

philosophy of this type of approach »256. En outre, dans le contexte d’une extension de la

chaine de délégation, l’évaluation est également considérée comme un instrument à travers

lequel le Principal obtient des informations sur les résultats des actions de ses agents. « The

felt need for public accountability of (autonomized) agencies has given rise to numerous

review procedures and control mechanisms, which also involve the collection and judgment

of data on performance and results (see e.g. Sanderson 2001, who describes local practices in

the UK). Such practices contribute to an ‘evaluative state’ (Sanderson 2001: 303) or ‘audit

explosion’ (Power, 1994) in which performance measurement and accountability constitute

the dominant perspective ».

Une deuxième perspective considère que, de manière assez paradoxale, le NPM ne prône pas

l’utilisation systématique de l’évaluation des politiques. Au contraire, il « tend à se focaliser

plutôt sur l’efficience interne de l’administration, en rationalisant (les coûts de) la production

des prestations administratives (“outputs”) par un service administratif particulier, que sur la

mesure et le jugement des effets propres (“outcomes”, impacts) des politiques conduites, avec

une coordination plus ou moins proactive, par plusieurs unités administratives, organismes

parapublics voire associations privées »257. Dans cette optique, le NPM conduit à instaurer des

indicateurs « construits le plus souvent pour mesurer l'effectivité de la mise en œuvre de

décisions plutôt que pour évaluer l'impact de ces actions en matière de service rendu »258. Par

ailleurs, certains arguent que l’extension de la chaine de délégation et la logique de marché

255 Gruening G., « Origin and theoretical basis of the New Public Management (NPM) », International Public Management Journal, n° 4, 2001, p. 2.256 van der Meer F-B, « New Public Management and Evaluation », In C. Pollitt, S. van Thiel & V. Homburg (Eds.), New public management in Europe: adaptations and alternatives, Palgrave Macmillan, 2007, pp. 165-180.257 Jacob S. et Varone F. (5), Op. Cit., p. 285.258 Dejean J., Bourassin V. et Mortreux K., « Culture de l’évaluation et fascination pour les indicateurs », Politiques et Management Public, Vol. 16, n° 2, 1998, p. 162.

78

conduisent à l’utilisation de l’évaluation comme un simple instrument de contrôle. Il ne s’agit

plus de mesurer les effets des politiques, mais de contrôler l’action de ceux qui en ont la

gestion.

Á ce moment, se pose la question de savoir si le NPM facilite ou au contraire inhibe

l’institutionnalisation de l’évaluation des politiques publiques. Á cet égard, deux scénarii

semblent s’affronter.259

Dans un premier scénario, l’évaluation s’institutionnalise directement dans le cadre des

réformes administratives inspirées par le NPM qui agissent en tant que cadre restrictif pour

l’évaluation. Dans ce cas, le développement de l’évaluation se trouve enfermé dans le

paradigme managérial et l’utilisation de celle-ci en tant que mesure et jugement des effets des

politiques risque d’être fortement limitée. L’évaluation aura alors une propension à se

focaliser sur l’efficience interne de l’administration. En outre, dans un climat de crise

économique, ces évaluations, portées par la vague managériale, tendent à être liées à des

considérations budgétaires de réduction des déficits et de justification de suppression de

programmes existants. Les exemples des États-Unis et de la Nouvelle-Zélande paraissent

éclairants à cet égard. Alors que l’évaluation des politiques publiques y était fortement

implantée, l’introduction au États-Unis en 1993 du Government Performance and Results

Acts (GPRA) « s’est traduite de facto par un déclin significatif des ressources allouées et (des

compétences) du personnel affecté à l’évaluation »260. La Nouvelle-Zélande, quant à elle, s’est

engagée dans une réforme inspirée du NPM alors que l’évaluation n’y était que très

faiblement institutionnalisée (1984-1994). Dans le cadre de ces réformes, les évaluations

mises en œuvre ont porté sur les outputs administratifs et ont négligé les outcomes. Les

nouveaux gestionnaires de programmes ne souhaitaient pas être tenus responsables des effets

de leur politique « car, et c’est une évidence, ces effets dépendent non seulement des outputs

réalisés par leur service, mais aussi de la qualité de la programmation normative de la

politique en soi, de sa mise en œuvre conjointe par d’autres unités administratives et de

variables contextuelles, facteurs sur lesquels ils n’ont aucune prise directe et dont, très

logiquement, ils ne sauraient être tenus responsables en cas d’effets déficients »261.

Dans un second scénario, les réformes inspirées du NPM n’agissent pas en tant que cadres

restrictifs mais en tant que catalyseurs. Dans ce cas, l’évaluation est institutionnalisée à la 259 De Peuter B., Pattyn V. et Brans M., « Policy evaluation before and after the governmental reform in Flanders (Belgium). Progress in evaluating progress? », Paper for the EES Conference 2008, p. 3. https://lirias.kuleuven.be/bitstream/123456789/204184/1/EES2008DePeuterPattynBrans-4.pdf 260 Jacob S. et Varone F. (5), Op. Cit., p. 285.261 Ibid., p. 285.

79

faveur de réforme inspirée par le NPM mais se développe suivant sa propre trajectoire. « In

this case the development of an evaluation practice can be better classified as a spill-over

effect of the NPM-reform. It also opens the perspective that evaluation is not bound to the

NPM rationale of managerial accountability and could evolve to a broader scope »262.

L’évaluation se détache du cadre managérial pour véritablement se déployer en tant que

mesure et jugement des effets des politiques. Par ailleurs, les graines de l’institutionnalisation

de l’évaluation peuvent être présentes avant la réforme, celle-ci ne faisant qu’activer le

processus. La thèse du spill-over effect est soutenue par Furubo lorsqu’il pointe les réformes

administratives inspirées du NPM comme un facteur clé pour expliquer l’émergence de

l’évaluation dans certains pays.

Au final, afin de dépasser les différends, parfois stériles, sur l’acceptabilité ou non des

différents principes, outils et actions dans les réformes administratives, il convient de recourir

à une analyse empirique du NPM « au concret ». Ceci est d’autant plus un passage obligé que

de nombreux auteurs ont montré que les réformes mises en œuvre ne s’inscrivent jamais

parfaitement dans la philosophie du NPM, que les transcriptions pratiques prennent des

formes plurielles et que les changements réels dans les pratiques, les institutions et les

structures de gestion publique ont été reconnus comme contingents, variés et différenciés

selon les contextes et cultures administratives dans lesquels ils se sont produits. C’est

pourquoi, nous allons nous attacher à examiner le cas wallon.

2.3. Le cas wallon

La modernisation administrative wallonne suit un processus incrémental d’évolutions

successives dont certains éléments semblent clairement inspirés du NPM même si celui-ci ne

constitue pas un principe directeur de la modernisation à l’œuvre. Le processus s’est mis en

marche de manière tardive et ne s’est véritablement enclenché que depuis la fin des années

90. Alors que la Flandre a profité des transferts de compétences fin des années 80 et début des

années 90 pour moderniser son secteur public, la Wallonie n’a pas suivi cette voie. Elle ne

s’est engagée sur le chemin de la modernisation administrative qu’après avoir intégré les

nouvelles compétences et s’être consolidée en tant qu’entité politique autonome. Dans le

cadre de notre analyse, nous nous intéresserons ici essentiellement aux évolutions qui nous

paraissent les plus pertinentes au regard du développement et de l’institutionnalisation de

l’évaluation des politiques publiques.

262 De Peuter B., Pattyn V. et Brans M., Op. Cit., p. 3.

80

(1) Au niveau organisationnel, on observe deux tendances inspirées du NPM : une

décentralisation et une spécialisation opérationnelle, le tout accompagné d’une plus grande

autonomie pour les différentes organisations. Ces tendances se sont concrètement traduites

par la création d’une multitude d’agences plus ou moins autonomes. Le phénomène

d’agencification est bien présent en Région wallonne comme en témoigne, à titre d’exemple,

la création de l’agence pour l’emploi et la formation (FOREM), de la société wallonne du

logement (SWL) ou encore de l’agence wallonne pour l’intégration des personnes

handicapées (AWIPH).263 L’IWEPS a, à ce sujet, reconstitué à partir de différents tableaux

l’évolution du schéma institutionnel de la Région wallonne. Ces travaux indiquent clairement

que le nombre d’agences wallonnes s’est considérablement accru durant ces 20 dernières

années passant de 43 unités en 1995 à 88 unités en 2009 (quasi le double) 264.

Officiellement dicté par des principes d’efficacité, d’efficience du secteur public et

d’expertise de décision (que confèrent aux agences leur autonomie d’action et leur proximité

de l’usager)265, ce changement organisationnel au sein de la fonction publique appelle

naturellement que des processus d’évaluation des performances soient mis en œuvre. En effet,

les autorités publiques entendent placer la performance au cœur de l’action publique en

conférant aux agences une autonomie organique et fonctionnelle (plus ou moins importante

selon les cas) qui permettraient à celles-ci de bénéficier d’une marge d’appréciation qui les

conduit à prendre plus facilement des décisions mieux appropriées aux environnements

locaux et aux attentes des usagers sans être étouffées par un corpus de règles et de procédures

rigides et peu motivantes. Toutefois, « l’autonomie conférée aux agences ne dégage pas les

pouvoirs publics de leurs responsabilités par rapport aux activités menées par les agences »266.

Dès lors, ils se doivent de mettre en place des instruments de pilotage et procédures de

contrôle des actions réalisées. Dans cette perspective, l’utilisation de la voie contractuelle à

travers les contrats de gestion est une technique largement répandue en Wallonie. Idéalement,

ces contrats détaillent les missions et objectifs assignés aux agences, les moyens mis à

disposition pour les réaliser mais aussi les mesures de suivi et d’évaluation des performances.

La gestion par contrat n’a de sens que si elle s’incarne dans une vision évaluative et

compréhensive.267

263 Pour une étude consacrée à ce sujet, voyez Cipriano S. et Van Haeperen B., Les agences dans le paysage de la fonction publique wallonne, IWEPS. Discussion Papers, n° 1003, 2010.264 Ibid., p. 10-14.265 Ibid., p. 3.266 Ibid., p. 18.267 Fallon C. et Geoffroy J., Op. Cit., p. 13.

81

Dans la pratique, en Wallonie, on dénombre bon nombre d’évaluations réalisées à l’occasion

des renouvellements de ces contrats. L’article 5 du décret du 12 février 2004 relatif au contrat

de gestion et aux obligations d’information prévoit d’ailleurs explicitement que les contrats de

gestion des organismes soumis au décret doivent obligatoirement faire l’objet d’une

évaluation par un tiers lors de leur renouvellement. Il est précisé que cette évaluation

comporte les aspects relatifs au contexte économique, social et environnemental dans lequel

travaille l’organisme, aux perspectives d’avenir du secteur d’activité, à la satisfaction des

usagers et, le cas échéant, une analyse des effets du contrat de gestion précédent.268 Le décret

ne limite donc pas les évaluations à de simples analyses de mise en œuvre mais n’impose pas

non plus que les effets soient systématiquement sondés. C’est dans ce cadre qu’ont eu lieu les

récentes évaluations des contrats de gestion du FOREM ou de l’AWIPH. Nous n’avons pas

pu, dans le cadre de ce mémoire, entreprendre une étude systématique des évaluations de

contrat de gestion. Il semble néanmoins qu’elles portent surtout sur des analyses de mises en

œuvre et de degrés de réalisation des objectifs ainsi que sur des enquêtes de satisfaction des

bénéficiaires. Dans ces conditions, un des enjeux principaux concerne le type d’indicateurs

retenus et la manière dont les objectifs sont formulés. Or, « à ce jour, peu d’indicateurs

d’efficacité, d’efficience, de performance et de résultats (valeurs de référence à atteindre) sont

précisés et coulés dans les textes fondateurs des agences »269. Il apparait toutefois que la

situation évolue avec les évaluations successives et qu’une réelle réflexion sur les indicateurs

est menée. Ainsi, par exemple, le contrat de gestion de l’AWIPH précisait que les activités de

l’organisme seront évaluées tant sur base d’indicateurs de production que d’impacts, à

préciser avec la collaboration de l’I.W.E.P.S.270 Le cas du FOREM est également intéressant

puisqu’il prévoit également quelques indicateurs d’impacts. Ceci dit, si les indicateurs

d’impacts sont importants pour dépasser la simple analyse de mise en œuvre, l’évaluation des

effets reste difficile dans la mesure où il est souvent compliqué de prouver clairement que les

résultats obtenus sont réellement imputables aux actions menées.

Globalement, le processus d’agencification a contribué à l’institutionnalisation et au

développement de la pratique évaluative à travers l’obligation d’évaluation des contrats de

gestion. Néanmoins, celle-ci reste souvent, mais pas toujours, limitée à l’efficience interne et

aux enquêtes de satisfaction qu’à une réelle mesure des effets

268 Art. 5 du décret du 12 février 2004 relatif au contrat de gestion et aux obligations d’information. Cette obligation concerne différents organismes soumis au décret.269 Cipriano S. et Van Haeperen B., Op. Cit., p. 20.270 Contrat de Gestion de l’AWIPH 2007-2011, p. 22.

82

(2) Au niveau stratégique, le NPM met l’accent sur le besoin accru de planification

stratégique et d’une quantification des objectifs et indicateurs. « Bien que la planification

stratégique ne soit pas un des fondements du NPM, il est devenu presque impossible

d’aborder l’un sans faire référence à l’autre. La planification stratégique consiste, après une

analyse poussée de l’environnement, des besoins et des évolutions que pourrait rencontrer le

service public, en l’élaboration d’objectifs à long terme et d’un plan d’action afin de les

réaliser »271.

Privée de véritable vision stratégique jusqu’en 2000, l’adoption du « Contrat d’Avenir pour la

Wallonie » marque un véritable tournant pour la Région. En effet, il s’agit du premier

document de grande ampleur qui se présente comme un plan stratégique global qui entend

faire de la Wallonie une région prospère. En élaborant un tel outil, la Région s’est dotée d’un

document de référence, fondé sur un diagnostic sans complaisance de sa situation et orienté

vers des objectifs clairs de redressement et de convergence vers les moyennes européennes,

de création de richesses et d’emplois.272 Le plan s’articule autour d’un objectif stratégique

(décliné en plusieurs sous-objectifs quantitatifs et qualitatifs) 4 priorités et 10 principes

d’action communs pour assurer la convergence vers ces objectifs.

S’inspirant de certains éléments clés du NPM, la Wallonie cherche à intégrer, à travers ce

plan, les principes qui fondent une gestion moderne, transparente, efficace et efficiente de la

chose publique.273 Le septième principe du CAW préconise la formation d’une véritable

culture de l’évaluation qui permettrait d’atteindre plusieurs objectifs : « une plus grande

efficacité dans l’utilisation des instruments de politique régionale, une plus grande visibilité

de l’action du Gouvernement wallon au sein de la population, de plus amples marges de

manœuvre provenant de la suppression de dépenses inutiles, et la prise de conscience au sein

de la population d’une réelle volonté de faire changer les choses et, par conséquent, une

mobilisation accrue des acteurs sociaux. Le Gouvernement mettra en place une procédure

d’évaluation interne et externe permanente de son contrat d’avenir. Celle-ci devra fournir un

certain nombre d’indicateurs intermédiaires précis pour toutes les priorités et tous les

principes communs touchés par le contrat d’avenir. Cette procédure permanente de suivi sera

mise sur pied afin que le Gouvernement dispose d’outils de contrôle modernes lui permettant

271 Vancoppenolle D. et Legrain A., « Le New Public Management en Belgique : comparaison des réformes en Flandres et en Wallonie, Administration Publique, n° 2, 2003, p. 116.272 http://www.province.namur.be/Internet/sections/institution/contrat_d_avenir/ 273 http://www.province.namur.be/Internet/sections/institution/contrat_d_avenir/

83

de visualiser clairement et en temps rapprochés l’état d’avancement de ses engagements. Le

Gouvernement fera une publicité de cette évaluation continue »274.

Á travers l’inscription de l’évaluation au cœur de sa nouvelle stratégie, le CAW contribue, de

manière très claire, à en institutionnaliser le principe. Bien que le NPM ne constitue sans

doute pas l’unique principe directeur de ce plan, les finalités poursuivies par l’évaluation font

écho à certains chevaux de batailles du NPM : plus grande efficacité dans l’utilisation des

instruments de politique régionale et plus amples marges de manœuvre provenant de la

suppression de dépenses inutiles.

Le CAW, qui sera lui-même évalué, témoigne d’une volonté politique de faire de la démarche

évaluative un élément structurel du développement régional, au cœur de la nouvelle gestion

publique. L’évaluation externe du CAW a été confiée à un consultant privé (Deloitte et

Touche) qui a rendu son premier rapport en janvier 2001. L’évaluation du CAW a permis de

développer des outils de suivi interne (tableaux de bord) qui ont évolué vers une forme

communicable, à travers les Chiffres-clés de la Wallonie, qui mesurent trimestriellement

l’évolution de la Wallonie par rapport à quelques indicateurs clés. En outre, l’évaluation du

CAW a été l’occasion de discuter de la notion d’évaluateur externe et indépendant prônée par

le modèle de la Commission européenne. Suite à la première évaluation externe du CAW en

2001, il a été prévu que « l’évaluation externe [serait] poursuivie en 2002 et que le processus

d’évaluation sera progressivement internalisé »275 afin de permettre à l’administration

wallonne d’intégrer la pratique de l’évaluation.276 C’est dans ce contexte que le législateur

wallon a décidé, par un décret de décembre 2003, de créer l’IWEPS. Celui-ci sera ensuite

chargé des évaluations du CAWA, plan Marshall et plan Marshall 2.vert qui s’inscrivent dans

la foulée du CAW et qui répètent l’importance de l’évaluation. Mais, il ne s’agit pas des

seules compétences de l’IWEPS en matière d’évaluation (même si, actuellement l’essentiel de

ses ressources en la matière sont mobilisées par le plan Marshall 2.vert). On le voit bien, les

principes du NPM, qui ont en partie inspiré les décideurs wallons lors de l’adoption des plans

successifs, n’agissent pas en tant que cadre restrictif pour le développement et

l’institutionnalisation de l’évaluation. En créant l’IWEPS, on cherche même à détacher

l’instrument évaluatif du cadre du CAW et des plans Marshall pour en faire un instrument

transversal de la politique wallonne même si, comme nous l’avons montré, ce processus n’est

pas abouti.

274 Gouvernement wallon, Contrat d’avenir pour la Wallonie, Namur, 2000.275 Gouvernement wallon, Communiqué de presse du 5 septembre 2002.276 Jacob S. et Varone F. (3), Op. Cit., p. 105.

84

(3) Au niveau de la gestion des ressources humaines, bien qu’il ne s’agisse pas d’évaluations

de politiques publiques, signalons rapidement que le code de la fonction publique wallonne de

2002 a instauré un système d’évaluation du personnel avec un régime spécifique pour les

fonctionnaires dirigeants. Ces évaluations portent sur les objectifs et les résultats assignés à la

fonction et se veulent être une technique de gestion du personnel orientée vers la performance

et non une forme de contrôle centré sur la personnalité. 277

Au final, nous pensons que les réformes wallonnes (en partie) inspirées du NPM n’agissent

pas en tant que cadres restrictifs mais en tant que catalyseurs. Nous l’avons vu, l’évaluation a

pu se développer à la faveur des réformes et s’institutionnaliser suivant sa propre trajectoire.

Ceci dit, il semble tout de même que l’évaluation reste davantage attachée au modèle

managérial dans le cadre du phénomène d’agencification et des évaluations de contrat de

gestion. Nous considérons que le NPM ne constitue qu’un facteur explicatif indirect de

l’institutionnalisation de l’évaluation dans la mesure où il a inspiré certaines innovations qui

ont conduit à une plus grande institutionnalisation de la pratique.

3. Crise de légitimité de l’action publique

3.1. Crise de légitimité de l’action publique

La question de la légitimité a suscité de nombreuses réflexions en sciences politiques. S’il est

délicat de définir un concept aussi général, nous considérons, suivant I. Orgogozo et H.

Serieyx qu’un État (une région) légitime est « un État [une région] dont on accepte qu’il [elle]

intervienne là où il intervient. Il est accepté s’il est compris, c'est-à-dire si l’on voit à quoi il

sert ; s’il est clair qu’il est le meilleur acteur possible […] ; si l’on est convaincu qu’il fait

toujours le meilleur usage des responsabilités qu’on lui a déléguées et des moyens […] qu’on

lui a fournis […] »278.

Depuis quelques années désormais, le constat d’une crise de légitimité à été avancé par

différents auteurs. Cette crise se traduirait par une large perte de confiance des citoyens envers

les institutions et systèmes politiques. Celle-ci serait non seulement ressentie par différents

acteurs (professionnels de la politique, militants associatifs, journalistes ou simples citoyens)

mais semble également « attestée par les sciences sociales, qui enregistrent un recul important

du militantisme partisan, la montée de l’abstention ou la distance croissante des citoyens

277 Voyez Herbiet M., Brunet S. et Delhez D., « L’évaluation du personnel des services publics fédéraux et fédérés », Administration Publique, n° 3-4, 2005, pp. 244-255. 278 Orgogozo I. et Serieyx H., Changer le changement. On peut abolit les bureaucratie, Seuil, Paris, 1989, p. 54.

85

envers le système politique (mesurée quantitativement dans les enquêtes d’opinion et mise en

évidence dans nombre d’études qualitatives) »279.

Dans cette perspective, la crise apparait non seulement comme la conséquence d’affaires qui

mettent en lumière des cas de mauvaise gestion publique (voire carrément d’infractions) mais

résulte également et plus largement d’usagers de plus en plus exigeants quant à la qualité des

services offerts et aux conditions (transparence, participation) dans lesquelles le secteur public

opère. Dans ce cadre, pour être légitime, l’action publique se doit non seulement d’être légale

mais aussi responsive – c'est-à-dire réceptive, sensible aux demandes sociales – et problem

solving – c'est-à-dire effective et efficace.280 Les seuls principes démocratiques du suffrage

universel et de l’État de droit ne suffisent plus à fonder la légitimité de l’action publique.281

« La revendication de légitimité de nos gouvernants ne peut plus se satisfaire de la seule

légalité de leurs actes indépendamment de leur portée »282, à une légitimité de position

s’ajoute une légitimité d’action. « Le droit n’est plus assuré d’une légitimité ab initio, liée à

ses attributs intrinsèques. Sa légitimité dépend de son aptitude à produire certains effets

économiques et sociaux. Á une légitimité fondée sur la régularité des procédures mises en

œuvre se substitue [se double] une légitimité fondée sur l’efficacité des actions

entreprises »283.

Relevons par ailleurs que tous les auteurs ne se rejoignent pas sur le constat de crise

généralisée. L’article très intéressant de S. Van de Walle, S. Van Roosbroek et G. Bouckaert

consacré à ce sujet précise d’ailleurs qu’« il s’avère que la confiance des citoyens dans le

secteur public varie, et que les données ne font, d’une manière générale, pas apparaître une

baisse systématique de ces niveaux de confiance. En outre, dans certains pays, les données

sont tout simplement insuffisantes pour pouvoir tirer des conclusions au sujet de l’évolution

dans le temps de la confiance des citoyens dans le secteur public »284. Les auteurs soutiennent

que les sondages mesurent des variations de confiance parfois importantes liées à des affaires

ou scandales particuliers mais que rien n’indique que le niveau global de confiance envers le

secteur public évolue à la baisse. Tout se passe comme si les soutiens diffus aux institutions

279 Sintomer Y. (1), Délibérer, participer, représenter. Vers une sociologie de la justification politique , Mémoire d’habilitation à diriger les recherches en sociologie, Berthelot J-M. (dir.), Université Paris V, 2001, p. 7.280 Jacob S. (1), Op. Cit., p. 130.281 Varone F. et Magdalijns C., Op. Cit, p. 56-57.282 Duran P., Op. Cit., p. 7.283 Chevallier J., « « Vers un droit post moderne ? », dans Clam J. et Martin G. (dir.), Les transformations de la régulation juridique, LGDJ, Paris, 1998, p. 38.284 Van de Walle S., Van Roosbroek S. et Bouckaert G., « La confiance dans le secteur public: existe-t-il des signes d’un déclin à long terme ? », Revue Internationale des Sciences Administratives, Vol. 74, n° 1, 2008, p. 51.

86

n’évoluaient que très peu et que les soutiens explicites, mesurés par les sondages, variaient au

gré d’événements isolés.285

D’un point de vue empirique, il n’est pas toujours aisé de confirmer ou d’infirmer le constat

de crise de légitimité de l’action publique. La voie la plus usitée consiste à se reposer sur les

grandes enquêtes internationales (Eurobaromètre et World Value Survey) qui comportent des

indices de confiance envers les institutions publiques et des mesures du degré de satisfaction

envers le fonctionnement de la démocratie. Conscients des apports et des limites de ce genre

d’exercices286, nous nous baserons sur ces données pour étayer nos analyses. Notons tout de

même ici que le lien entre efficacité de l’action publique (perçue ou réelle) et confiance n’est

peut-être pas si évident que cela et qu’il a peu de chance de fonctionner de manière aussi

mécanique et directe que ce que certaines réflexions le laissent penser. Sur le plan empirique,

le peu d’études disponibles aboutissent d’ailleurs à des résultats mitigés. 287 Certaines

approches liées à la mesure du capital social estiment d’ailleurs que « la méfiance à l’égard de

l’État et du secteur public n’est pas tant le résultat de ce que l’État fait, mais correspond

simplement à un déclin plus général de la confiance interpersonnelle »288. Ces approches sont

elles-mêmes souvent contestées.

3.2. Crise de légitimité et évaluation des politiques publiques

Certains auteurs expliquent l’institutionnalisation de l’évaluation comme réponse à la crise de

légitimité de l’action publique. « Selon un principe communément énoncé, l’évaluation tend à

se développer lorsque les institutions apparaissent illégitimes au yeux des citoyens »289. C’est

la thèse d’É. Monnier lorsqu’il affirme que « l’évaluation de l’action des pouvoirs publics ne

se développe pas inéluctablement avec l’extension des responsabilités des pouvoirs publics

dans la conduite des affaires sociales. On observe plutôt que les États y recourent seulement

lorsque la légitimité de leur action traverse une crise »290.

En fait, il semble que les seuls principes démocratiques du suffrage universel et de l’État de

droit ne suffisent plus à fonder la légitimité de l’action publique.291 Au-delà de la légitimation

285 Conformément à la conceptualisation de D. Easton, les soutiens diffus sont liés aux valeurs qui définissent les orientations de base d’un système politique alors que les soutiens explicites sont liés à des objets précis comme des institutions particulières ou des personnes. Frognier A.-P. et Rihoux B., « Opinion publique et politique en Belgique : une crise de légitimité ? », Recherches Sociologiques, Vol. 21, n° 1, p. 153.286 Bréchon P., « Les grandes enquêtes internationales (Eurobaromètres, Valeurs, ISSP) : apports et limites », L’année sociologique, Vol. 52, n° 1, 2002, pp. 105-130.287 Van de Walle S., Van Roosbroek S. et Bouckaert G., Op. Cit., pp. 53-54.288 Van de Walle S., Van Roosbroek S. et Bouckaert G., Op. Cit., p. 56.289 Jacob S. (1), Op. Cit., p. 130.290 Monnier É. (3), Évaluation de l’action des pouvoirs publics, 2è eds., Économica, Paris, 1992, p. 14. 291 Varone F. et Magdalijns C., Op. Cit, p. 56-57.

87

démocratique (dite primaire, ou par les inputs), les élus se doivent de rendre des comptes sur

l’efficacité de leur action et sur le bien-fondé des décisions qui les ont engendrées

(légitimation secondaire, ou par les outputs).292 Dans un tel contexte, l’évaluation représente

un instrument capable de contribuer à légitimer l’action publique, en démontrant les effets qui

en résultent. « Alors que la loi pouvait auparavant exciper d’une rationalité intrinsèque

attribuable au respect de la procédure normative, elle connait aujourd’hui, avec

l’affaiblissement du principe de légalité (multiplication des règles infra-légales, intensification

du recours au experts, etc.), un certain déficit de légitimité. Pour rempailler celle-ci : le

principe d’efficacité. C’est en remplissant effectivement ses objectifs qu’une règlementation

accède désormais à la crédibilité, ce à quoi l’évaluation est réputée contribuer »293. Dans cette

optique, l’institutionnalisation de l’évaluation témoigne du fait que l’élection n’est plus la

seule instance de légitimation mais que les décideurs acceptent de rendre des comptes sur

l’efficacité et la pertinence de leurs actions. « Que l’on se réfère ici à une évaluation par les

objectifs, par les moyens, par les besoins, par les processus ou par les systèmes d’acteurs, que

l’on retienne une procédure d’évaluation ex ante, intermédiaire ou ex post, que l’on cherche à

mesurer l’efficacité ou l’efficience des programmes mis sur la sellette, il s’agit de revenir sur

les dispositifs pour en souligner la pertinence, la légitimité »294.

Dans la prochaine section, nous tenterons d’analyser si une crise de légitimité envers l’action

publique, mesurée à partir de données d’enquêtes, peut expliquer le phénomène

d’institutionnalisation de l’évaluation en Wallonie.

3.3. Le cas wallon

Lorsqu’on examine les résultats des enquêtes de l’Eurobaromètre relatifs à la satisfaction à

l’égard du fonctionnement la démocratie (qui sert aujourd’hui souvent d’indicateur de la

légitimité du système politique), on observe que sur la période 1971-1991, la Belgique est

caractérisée par un niveau de satisfaction plutôt bas de 56% de moyenne. En termes relatifs,

elle occupe une position un peu inférieure à la moyenne européenne (57% de satisfait). 295

Suite à l’affaire Dutroux, la Belgique chute à un niveau de satisfaction extrêmement bas (19%

pour les wallons et les flamands), et devient même le pays qui affiche le score le plus faible

des pays de l’Union européenne.296 Par la suite, le niveau de satisfaction revient à des niveaux

292 Matyjasik N., Op. Cit., p. 28.293 Cerexhe B., « Préface », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, p. 15294 Berthet T., Op. Cit., p. 136.295 Frognier A.-P. et Rihoux B.,, Op. Cit., pp. 149-150. 296 Ibid., p. 150-151.

88

de satisfaction comparables à ceux observés avant le scandale. Ceci tend à montrer que les

scandales peuvent avoir une influence non négligeable sur les scores de satisfaction des

citoyens envers le fonctionnement de la démocratie. Les données des enquêtes du PIOP

permettent d’aller plus loin en indiquant des chiffres spécifiques à la Wallonie. Ainsi, en

1999, 62 % des wallons se disaient satisfaits à l’égard du fonctionnement de la démocratie

(40% en 1995) et 40 % se déclaraient satisfaits à l’égard de la façon dont la politique est faite

en Belgique (voyez l’Annexe 17).297

Concernant la confiance accordée aux institutions, les données de la Commission européenne

montre que la Belgique est caractérisée par un important niveau de méfiance envers la plupart

des institutions publiques (administration, Gouvernement, Parlement, partis politiques), avec

un creux important lors de l’affaire Dutroux.298 La confiance dans la fonction publique

mesurée par la World Values Survey semble confirmer ce constat.

De manière générale, il ressort que le niveau de satisfaction des wallons à l’égard du

fonctionnement des institutions publiques est plutôt bas que ce soit en termes absolus ou

relatifs. Au niveau des évolutions, on observe davantage des fluctuations que des tendances

générales. Ces fluctuations sont généralement liées à des événements ou scandales

particuliers, souvent largement relayés par les médias. Aux traditionnelles accusations de

lourdeurs administratives, de politisation, de manque de motivation et de gaspillage viennent

s’ajouter, au gré des scandales, des soupçons d’incompétence voire de corruption.299 Malgré

tout, les enquêtes indiquent que les wallons ne remettent pas en cause les principes

démocratiques mais éprouvent un manque de satisfaction à l’égard de certains acteurs ou

institutions.

Dès lors, une double question se pose. D’une part, est-ce que le déficit de satisfaction des

wallons envers les institutions a contribué à l’institutionnalisation de l’évaluation ? D’autre

part, est-ce qu’un scandale ou une affaire particulière a généré une institutionnalisation de

l’évaluation ?

Contrairement à la réforme des polices et à la refonte de l’administration de la justice suite à

l’affaire Dutroux et, dans une moindre mesure, au décès de Semira Adamu300, il apparait que 297 Schiffino N. et Aish A-M., « La démocratie en Wallonie : une analyse de la satisfaction de l'électorat wallon à l’égard de la démocratie et de la politique », dans Aish A-M. et Frognier A-P, Elections la rupture ? Le comportement des Belges face aux élections de 1999, de Boeck Université, Bruxelles, 2003, p. 97. 298 Ibid., p. 151-152.299 « Introduction », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, p. 11.300 Ces affaires éclaboussent en premier lieu le niveau fédéral. Dans la mesure où bon nombre d’enjeux sont liés dans notre système fédéral, ces événements ne sont pas sans conséquence au niveau régional.

89

l’institutionnalisation de l’évaluation ne s’est pas directement réalisée dans une perspective

thérapeutique suite à une crise ou une affaire particulière. Rien ne permet d’affirmer que les

crises qui ont mis en cause des mandataires politiques (Charleroi, affaire(s) Donfut, etc.) ont

eu un impact sur le processus d’institutionnalisation de l’évaluation au niveau wallon.301 Tout

au plus, on peut soutenir l’idée que les scandales qui ont touché le pays fin des années 90 ont,

de manière indirecte, poussé les acteurs politiques à prendre des mesures en matière de bonne

gouvernance. En effet, la déroute de la famille socio-chrétienne et la percée des écolos, qui

ont conduit à l’émergence d’une majorité arc-en-ciel pour la législature 1999-2004, sont

largement liées aux crises Dutroux et au scandale de la dioxine.302 Conscient de cela, le

nouveau Gouvernement a développé un discours porté sur la bonne gouvernance. La même

remarque peut être formulée pour l’élection de 2009 (suite aux affaires qui ont touché

Charleroi). La DPR de 2009 entend d’ailleurs faire de la Wallonie un modèle de gouvernance

en s’appuyant notamment sur les exigences d’évaluation.

Dans ce contexte, on ne s’étonnera pas du fait que les discours qui entourent les étapes

importantes de l’institutionnalisation de l’évaluation s’entourent généralement de

justifications relatives à la nécessité d’asseoir la bonne gouvernance en Wallonie. Ces

discours s’inscrivent dans un climat plus général où la question de la gouvernance publique,

depuis les années 90 et particulièrement depuis le choc provoqué par l’affaire Dutroux, s’est

imposée dans le débat public, fait fréquemment la une des médias303 et s’invite régulièrement

au top de l’agenda politique avec la succession des affaires (INUSOP, Agusta, Dutroux,

Dioxine, Charleroi et autres cas d’infractions ou de mauvaise gestion dans le chef de

mandataires publics).304 L’évaluation y est alors présentée comme un instrument susceptible

de mener la Région sur la voie de la bonne gouvernance. Ainsi, les plans successifs (CAW,

CAWA, plan Marshall et Marshall 2.vert) insistent tous sur l’importance de la saine

gouvernance et soulignent le rôle que l’évaluation peut jouer dans cette perspective. De la

même manière, la création de l’IWEPS a également été en partie justifiée par des arguments

relatifs à la bonne gouvernance. « Une décision politique n’est jamais aussi légitime que

lorsqu’elle a passé l’épreuve de l’analyse et de la critique »305. Il faut tout de même avouer

301 Les choses sont peut-être différentes au niveau local. Nous n’avons pas pu analyser cette question.302 Baudewyns P. et Dumont P., « L’affaire Dutroux et la crise de la dioxine : quel effet sur le vote en 1999 », dans Aish A-M. et Frognier A-P, Elections la rupture ? Le comportement des Belges face aux élections de 1999 , de Boeck Université, Bruxelles, 2003, pp. 28-43.303 C’est peut-être aussi une des explications de l’important degré de méfiance des wallons envers les institutions publiques. 304 Eraly A. et Hindriks J., « Le principe de responsabilité dans la gestion publique », Reflets et perspectives de la vie économique, Vol. 46, n° 1, 2007, p. 195305 Parlement Wallon, travaux parlementaires relatifs au projet de décret créant l’IWEPS, séance du 3/12/2003.

90

que, s’il cet élément était présent, il était loin d’être central dans les discussions

parlementaires entourant la création de l’Institut.306

Néanmoins, au regard de la manière dont l’évaluation est institutionnalisée307, l’influence de

la crise de légitimité semble avant tout se situer à un niveau incantatoire. En effet, comme

nous l’avons souligné, les évaluations sont peu présentes dans les débats politiques et encore

moins dans l’espace public. En outre, il n’existe pas véritablement de stratégies de

communication, diffusion et valorisation des rapports produits et l’évaluation évolue dans un

paysage éclaté et difficilement lisible. Enfin, les évaluations ne considèrent que de façon

ponctuelle les niveaux d’analyse auxquels se nouent véritablement la légitimation de l’action

publique, qui sont ceux de l’interrogation sur la pertinence et les effets des politiques

publiques.

Portée par des acteurs de la société civile, la SWEP, quant à elle, s’est clairement constituée

dans le cadre d’une dynamique de consolidation de la légitimité de l’action publique à travers

la promotion de l’évaluation et de la prospective comme outils de bonne gouvernance.

Comme le précise son site internet, « notre association est inspirée par une charte fondatrice

qui met clairement en évidence notre volonté de promouvoir la prospective et l’évaluation

comme des démarches susceptibles de contribuer à l’amélioration de la gouvernance

publique »308. Ainsi, la charte souligne « la nécessité de reconstruire la confiance dans la

réalité du débat politique et dans l'action publique, la prise en compte véritable des attentes

des utilisateurs des services publics, […], l'exigence de la connaissance par les citoyens des

effets de la gestion publique et des politiques menées »309. « Ainsi, une nouvelle gouvernance

régionale, c'est-à-dire la capacité assumée de la Wallonie de prendre en main la direction et

l’orientation de sa stratégie au travers de mécanismes de consultation, de concertation, de

légitimation et de participation active de tous les acteurs du projet régional, nécessite la

création de lieux de rencontres et de débats, destinés à favoriser l'apprentissage, la diffusion et

la généralisation collective d’une culture et des outils nécessaires à sa mise en œuvre. La

Société wallonne de l'Evaluation et de la Prospective peut constituer un de ces lieux »310. Dans

ce cadre, l’évaluation est présentée comme un outil qui a vocation à nourrir la démarche

d’amélioration du fonctionnement démocratique. La SWEP s’inscrit pleinement dans une

approche démocratique ou participative de l’évaluation au sein de laquelle la transparence et

306 Ces discussions sont disponibles sur le site du parlement.307 Voir supra.308 http://www.la-swep.be 309 Charte de la SWEP, http://www.la-swep.be310 Ibid.

91

la publicité de l'annonce du travail d'évaluation et de ses résultats est assurée. Toutefois, les

actions de la SWEP sont restées limitées à un cercle restreint d’acteurs qui constitue ce que

nous avons appelé « le petit monde de l’évaluation ». En outre, la SWEP demeure largement

inconnue auprès d’un large public. Dans ces conditions, les activités de la SWEP semblent

s’être moins inscrites dans une perspective de légitimation l’action publique auprès des

citoyens311 que dans une réflexion, entre initiés, sur une pratique émergeante au niveau

wallon.

Au final, il apparait que « face à la crise de légitimité démocratique de l’action publique […],

l’évaluation est censée permettre le développement d’une plus grande transparence et d’une

meilleure crédibilité de l’activité politique aux yeux des citoyens. Si la dimension de

renforcement de la citoyenneté occupe une bonne place dans le système de légitimation de et

par l’évaluation, force est de constater qu’elle demeure, pour l’instant, à un niveau largement

incantatoire »312. Ainsi, l’influence de la crise de légitimité de l’action publique sur le

développement de l’évaluation au niveau régional s’inscrit davantage dans les discours que

dans les pratiques.313

4. Conclusions

La littérature consacrée à l’évaluation identifie de nombreux facteurs d’institutionnalisation

de la pratique. Nous avons cherché à tester la validité empirique de trois de ceux-ci pour la

situation wallonne.

Notre première hypothèse porte sur la dynamique d’européanisation de l’action publique.

Nous avons montré, à ce sujet, que les exigences communautaires en matière d’évaluation des

programmes structurels, avaient marqué le point de départ de l’institutionnalisation de

l’évaluation en Wallonie. En outre, nous avons souligné que l’influence communautaire ne

s’arrêtait pas là, que le modèle d’évaluation imposé avait été approprié par les dirigeants

wallons et étendu à différents secteurs d’activité. En ce sens, on peut affirmer que cette

première hypothèse se vérifie dans les faits. Néanmoins, l’influence européenne n’explique

pas à elle seule, l’ensemble du processus d’institutionnalisation.

Notre seconde hypothèse traite de la modernisation administrative et, plus particulièrement,

des réformes inspirées par le NPM. Notre analyse des réformes wallonnes tend à prouver que

311 Un des objectifs de la SWEP étant de promouvoir une diffusion de la culture de l’évaluation et de la prospective au niveau des citoyens et des décideurs.312 Berthet T., Op. Cit., pp. 138-139. 313 La force civilisatrice de l’hypocrisie, chère à J. Elster, n’a peut-être pas encore fait son œuvre.

92

les innovations inspirées du NPM n’ont pas directement impliqué une institutionnalisation de

la pratique évaluative dans un cadre managérial. Néanmoins, il nous semble que les réformes

(en partie) inspirées du NPM ont pu agir, non pas en tant que cadres restrictifs, mais en tant

que catalyseurs. Nous l’avons vu, l’évaluation a pu s’institutionnaliser à la faveur des

réformes mais se développe suivant sa propre trajectoire. Dans ce contexte, nous considérons

que le NPM constitue un facteur explicatif indirect de l’institutionnalisation de l’évaluation en

Wallonie.

Notre troisième hypothèse s’interroge sur l’évaluation en tant que réponse à une crise de

légitimité de l’action publique. Suivant notre analyse, nous estimons que cette variable

explique peu l’institutionnalisation de l’évaluation en Wallonie. En effet, si le thème du

rempaillage de la légitimité de l’action publique est présent dans les discours, il est encore

largement absent dans la pratique.

Signalons, pour finir, que les facteurs explicatifs que nous avons présentés de manière isolée

ne sont sans doute pas sans lien entre eux. Ainsi, la Commission européenne est à la fois

traversée par les principes de bonne gestion du NPM et par la volonté de légitimer ses actions

par les outputs à travers l’évaluation. Par ailleurs, il est évident pour nous que les facteurs que

nous avons retenus ne suffisent pas à eux seuls à expliquer la dynamique

d’institutionnalisation de l’évaluation des politiques. Toutefois, nous estimons que l’exercice

entrepris a le mérite de rendre intelligible un processus complexe et fragmenté.

93

CONCLUSION GÉNÉRALE

Sans considérer qu’elle constitue la panacée, l’évaluation des politiques publiques représente

un enjeu important dans nos sociétés confrontées à des choix complexes. En éclairant les

mandataires politiques, les responsables administratifs mais aussi les citoyens sur les effets

des politiques adoptées, l’évaluation peut contribuer à améliorer l’efficacité et la légitimité

des mesures prises. Dans ce contexte, il était étonnant qu’aucune recherche ne se soit, jusqu’à

présent, focalisée sur le processus d’institutionnalisation de l’évaluation des politiques

publiques en Wallonie. Nous avons voulu, à travers ce mémoire, apporter des premiers

éclaircissements à propos de l’état de la pratique et de ses facteurs d’institutionnalisation.

Nos recherches tendent à montrer que la Wallonie témoigne d’une pratique évaluative

largement répandue mais non systématique, polycentrique, de qualité inégale et peu valorisée.

Les sédiments de l’histoire ont formé un paysage institutionnel éclaté et non coordonné. Au

niveau des facteurs d’institutionnalisation, nous avons testé la validité empirique de trois

variables explicatives que l’on rencontre souvent dans la littérature. Alors que les exigences

européennes en matière d’évaluation constitue un facteur explicatif clair, l’influence des

modernisations administratives inspirées du NPM et de la crise de légitimité de l’action

publique sur l’institutionnalisation de l’évaluation est indirecte et beaucoup moins évidente.

En guise de conclusion, nous souhaitons formuler deux commentaires. Le premier est d’ordre

exploratoire ou heuristique. Il importe que des recherches supplémentaires soient conduites en

Région wallonne, tant d’un point de vue théorique que méthodologique et empirique. Par

exemple, une large méta-évaluation permettrait d’éclairer davantage la question de

l’utilisation des évaluations et des conditions qui la favorise ou, au contraire, l’inhibe. De la

même manière, une enquête menée auprès des partis politiques pourraient également fournir

des informations très instructives sur la manière dont l’évaluation est appréhendée par les

mandataires politiques. Compte tenu du coût des évaluations menées314, les données ainsi

recueillies revêtiraient une valeur essentielle.

Le second est d’ordre plus normatif. Au regard des éléments que nous avons rassemblés dans

ce mémoire et sans militer en faveur de l’une ou de l’autre forme d’institutionnalisation, ni

même souhaiter un engagement vers un type de modèle, il nous apparait que la Wallonie

gagnerait à instituer une plus grande coordination des initiatives qui sont prises. Á titre

314 Il est d’ailleurs symptomatique de constater que, à l’heure actuelle, il est impossible d’estimer sérieusement le coût des évaluations sans de nouvelles recherches sur le sujet.

94

d’illustration, la mise place d’une plateforme centralisant l’ensemble des évaluations

produites par les différents évaluateurs (par exemple, sur un site internet facile d’accès pour

un large public) constitueraient, sans nul doute, un pas en avant dans le processus

d’institutionnalisation. Il s’agirait de mettre, à l’attention de chacun, un lieu de capitalisation

de l’information qui permettrait d’alimenter le débat démocratique et d’améliorer la visibilité

des études réalisées. Sans tomber dans un angélisme béat, cette solution pourrait également

contribuer à une amélioration de la qualité des rapports présentés. De la même manière, la

diffusion d’un manuel pratique d’aide à la rédaction des cahiers des charges peut également se

révéler très utile.

95

BIBLIOGRAPHIE

Ouvrages et articles scientifiques

Abiker D., Les consultants dans les collectivités territoriales, LGDJ, Paris, 1998.

Agarkow J.-M. et Vandendorpe L., « L’évaluation des politiques publiques en Wallonie », in Destatte P. (dir.), Evaluation, prospective et développement régional, Charleroi, Institut Jules Destrée, 2001, pp. 83-95.

Amar A. et Berthier L., « Le Nouveau Management Public : Avantages et Limites », Revue du RECEMAP, 2007, p. 3. http://www.unice.fr/recemap/contenurevue/Articles/Revue_Recemap13_Amar_Berthier.pdf

Balthasar A., « Les étapes du travail », in Bussmann W., Klöti U. et Knoepfel P. (eds) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 171-179.

Balthasar A., « Institutional Design and Utilization of Evaluation: A Contribution to a Theory of Evaluation Influence Based on Swiss Experience », Evaluation Review, n° 33, 2008, pp. 226-256.

Baron G. et Monnier E., « Une approche pluraliste et participative : Coproduire l'évaluation avec la société civile », Informations sociales, n° 110, 2003, pp. 1-7.

Baudewyns P. et Dumont P., « L’affaire Dutroux et la crise de la dioxine : quel effet sur le vote en 1999 », dans Aish A-M. et Frognier A-P, Elections la rupture ? Le comportement des Belges face aux élections de 1999, de Boeck Université, Bruxelles, 2003, pp. 28-43.

Benson D. et Jordan A. « What Have We Learned from Policy Transfer Research? Dolowitz and Marsh Revisited », Political Studies Review, Vol. 9, 2011, pp. 366-378.

Berthet T., « Les enjeux de l’évaluation territoriale des politiques publiques », Informations sociales, Vol. 8, n° 150, 2008, pp. 130-139.

Blondiaux L. et Sintomer Y., « L’impératif délibératif », Politix, Vol. 15, N° 57, 2002, pp. 17-35.

Bossy T. et Evrard A., « Communauté épistémique », in Boussaguet L. et al., Dictionnaire des politiques publiques, Presses de Science Po, 2010, pp. 140-147.

Bréchon P., « Les grandes enquêtes internationales (Eurobaromètres, Valeurs, ISSP) : apports et limites », L’année sociologique, Vol. 52, n° 1, 2002, pp. 105-130.

Brunet S., Fallon C., et Pironet A., « Expertises et politiques publiques », in Beaufays J., et Matagne G., ( éd.), La Belgique en mutation. Systèmes politiques et politiques publiques (1968-2008), Bruylant, 2009, pp. 97-127.

Cadiou S., « Savoirs et action publique : un mariage de raison ? L’expertise en chantier », Horizons stratégiques, n° 1, 2006, pp. 112-124.

Cerexhe B., « Préface », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, pp. 13-15.

96

Chevallier J. « Vers un droit postmoderne ? », in Clam J. et Martin G. (dir.), Les transformations de la régulation juridique, LGDJ, Paris, 1998.

Cipriano S. et Van Haeperen B., Les agences dans le paysage de la fonction publique wallonne, IWEPS. Discussion Papers, n° 1003, 2010.

Collection MEANS, Évaluer les programmes socio-économiques, Commission Européenne, 1999.

Conseil Scientifique de l’Evaluation, Petit Guide de l’évaluation, La Documentation Française, Paris, 1996.

Daigneault P-M. et Jacob, S., « Toward accurate measurement of participation: Rethinking the conceptualization and operationalization of participatory evaluation », American Journal of Evaluation, vol. 30, n°3, 2009, pp. 330-348.

Dejean J., Bourassin V. et Mortreux K., « Culture de l’évaluation et fascination pour les indicateurs », Politiques et Management Public, Vol. 16, n° 2, 1998, pp. 161-174.

De Peuter B., « Toward a mature evaluation culture in Belgium and Flanders », Paper for the Symposium “Policy and programme evaluation in Europe: cultures and prospects”, 2008.

De Peuter B., Pattyn V. et Brans M., « Policy evaluation before and after the governmental reform in Flanders (Belgium). Progress in evaluating progress? », Paper for the EES Conference 2008, https://lirias.kuleuven.be/bitstream/123456789/204184/1/EES2008DePeuterPattynBrans-4.pdf

Derlien H-U., « Le développement des évaluations dans un contexte international », in Bussmann W., Klöti U. et Knoepfel P. (eds) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 5-12.

Destatte P., « La nouvelle gouvernance en Wallonie : les parties prenantes au cœur même de la conception de l'évaluation », Quatrièmes journées françaises de l'évaluation, Lille, 5 juin 2002.

de Visscher C. et Varone F. (1), « Les défis de l’évaluation en Belgique », in de Visscher C. et Varone F. ( éd.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, pp. 149-158.

De Visscher C. et Varone F. (2), « La Nouvelle Gestion publique « en action » », Revue internationale de politique comparée, Vol. 11, n° 2, 2004, pp. 177-185.

Dumazy W. et Trosch A., « La nouvelle compétence de la Cour des comptes en matière de bon usage des deniers publics », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, pp. 39-48.

Duran P., « L’évaluation des politiques publiques : une résistible obligation », Revue française des affaires sociales, n° 1-2, 2010, pp. 5-24.

Epstein R., « À quoi sert l’évaluation ? Les leçons de la politique de la ville », Tracés, n° 9, 2009, pp. 187-197.

Eraly A. et Hindriks J., « Le principe de responsabilité dans la gestion publique », Reflets et perspectives de la vie économique, Vol. 46, n° 1, 2007, pp. 193-208.

97

Fallon C. et Geoffroy J., « L’administration dans un contexte de modernité radicale : quand les instruments de gestion doivent devenir source de réflexivité », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 18, 2009, pp. 55-72.

Fetterman D., « Empowerment Evaluation », American Journal of Evaluation, n° 15, 1, 1994, pp. 1-15.

Fontaine J., « Evaluation des politiques publiques et sciences sociales utiles. Raisons des décideurs, offres d'expertise et usages sociaux dans quelques pratiques régionales », Politix, Vol. 9, n° 36, 1996, pp. 51-71.

Friedberg E., Le pouvoir et la règle. Dynamique de l’action organisée, Points, Paris, 1997.

Frognier A.-P. et Rihoux B., « Opinion publique et politique en Belgique : une crise de légitimité ? », Recherches Sociologiques, Vol. 21, n° 1, pp. 147-158.

Furubo J-E and Rist R., « A diffusion Perspective on Global Developments in Evaluation », in Furubo J-E, Rist R. C., Sandhal R., International Atlas of evaluation, Transaction Publishers, New Brunswick, 2002, pp. 1-23.

Genard J-L. et Jacob S., « Évaluation et territorialisation de l’action publique », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, pp. 17-26.

Greene C. J. et McClintock C., « The Evolution of Evaluation Methodology », Theory into Practise, Vol. 30, n° 1, 1991, pp. 13-21.

Gruening G., « Origin and theoretical basis of the New Public Management (NPM) », International Public Management Journal, n° 4, 2001, pp. 1-25.

Guba E. G. et Lincoln Y. S., Fourth Generation evaluation, Sage Publications, 1989.

Haarich N. et del Castillo Hermosa J., « Development of evaluation systems. Evaluation capacity building in the framework of the new challenges of EU structural policy », ERSA Conference, Porto, août 2004.

Haas P. M., « Introduction: Epistemic Communities and International Policy Coordination », International Organization, Vol. 46, n° 1, 1992, pp. 1-35.

Hall P. A. et Taylor R. C.R., « La science politique et les trois néo-institutionnalismes », Revue française de science politique, Vol. 47, n° 3, 1997, pp. 469-496.

Herbiet M., Brunet S. et Delhez D., « L’évaluation du personnel des services publics fédéraux et fédérés », Administration Publique, n° 3-4, 2005, pp. 244-255.

« Introduction », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, pp. 11-16.

Jabot F, et Bauchet M., « Glossaire », in Ridde V., et Dagenais C., (dir.), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, pp. 327-332.

Jacob S. (1), Institutionnaliser l’évaluation des politiques publiques. Étude comparée des dispositifs en Belgique, en France, en Suisse et aux Pays-Bas, Peter Lang, Bruxelles, 2005.

98

Jacob S. (2), « La volonté des acteurs et le poids des structures dans l’institutionnalisation de l’évaluation des politiques publique », Revue française de science politique, Vol. 55, n° 5-6, 2005, pp. 835-864.

Jacob S. (3), « L’institutionnalisation de l’évaluation des politiques publiques en Belgique : entre balbutiements et incantations », Res Publica, Vol. 4, 2004, p. 514.

Jacob S. et Varone F. (1), L’évaluation des politiques publiques au niveau fédéral : état des lieux et perspectives, Résultats d’une enquête réalisée dans le cadre du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2001. http://www.uclouvain.be/cps/ucl/doc/espo/documents/Evaluation_etat_des_lieux_au_niveau_federal.pdf, consulté le 14/12/2011.

Jacob S. et Varone F. (2), L’évaluation au concret en Belgique, Deuxième rapport intermédiaire du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2002. http://www.uclouvain.be/cps/ucl/doc/espo/documents/Evaluation_au_concret_Rapport_intermediaire.pdf

Jacob S. et Varone F. (3), L’institutionnalisation de l’évaluation des politiques : expériences étrangères et scénarios pour la Belgique, Troisième rapport intermédiaire du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2002. http://www.uclouvain.be/cps/ucl/doc/espo/documents/Experiences_etrangeres_et_scenarios_pour_la_Belgique.pdf

Jacob S. et Varone F. (4), « Points d’appui bibliographiques », in de Visscher C. et Varone F. ( éd.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, pp. 133-147.

Jacob S. et Varone F. (5), « Institutionnalisation de l’Évaluation et Nouvelle Gestion Publique : un état des lieux comparatifs », Revue Internationale de Politique Comparée, Vol. 11, n° 2, 2004, pp. 271-292.

Jacob S. et Ouvrard L., L’évaluation participative. Avantages et difficultés d’une pratique innovante , Cahiers de la performance et de l’évaluation, n° 1, 2009.

Jourdain L., « L’évaluation des politiques communautaires : légitimation et apprentissages nationaux », Cultures & Conflits, n° 28, 1997, pp. 147-169.

Lemieux V., « Évaluation de programmes et analyse des politiques », Télescope, Vol. 13, n° 1, 2006, pp. 1-8.

Klöti Ulrich, « Les exigences substantielles et méthodologiques de l’évaluation scientifique des politiques publiques », in Bussmann W., Klöti U. et Knoepfel P. (eds) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 37-54.

Klöti U. et Widmer T., « Les designs de recherche », in Bussmann W., Klöti U. et Knoepfel P. (éd.) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 181-205.

Knoepfel P., Larrue C. et Varone F., Analyse et pilotage des politiques publiques, Verlag Rüegger (2è éd.), 2006.

99

Leca J., « Le rôle de la connaissance dans la modernisation de l’Etat », Revue française d’administration publique, n°66, 1993, pp. 185-196.

Luyckx M., « Le rôle de l’expert : participer au réenchantement du monde », Reflets et perspectives, 2002, pp. 89-99.

Maraitre A., « La Commission européenne, acteur du développement de l’évaluation au niveau régional », L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, pp. 27-38.

Matyjasik N., L’évaluation des politiques publiques dans une France décentralisée. Institutions, marché et professionnels, Thèse de doctorat, Université Montesquieu Bordeaux IV, 2010.

Monnier É. (1), « L’évaluation au sein des régions françaises et de la Commission Européenne : son rôle dans le cadre du partage des responsabilités », The Canadian Journal of Program Evaluation, Vol. 10, n° 1, 1995, pp. 135-149.

Monnier É. (2), « État des pratiques d’évaluation dans les pays européens », in de Visscher C. et Varone F. (eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, pp. 55-64.

Monnier É. (3), Évaluation de l’action des pouvoirs publics, 2è éd., Économica, Paris, 1992.

Nioche J-P., « De l’évaluation à l’analyse des politiques publiques », Revue française de science politique, n° 1, 1982, pp. 32-61.

Olsen J. P., « The many faces of Europeanization », Arena working paper, 2002, http://www.ceses.cuni.cz/CESES-141-version1-2_1__Olsen_The_many_faces_of_Europeanization_2001.pdf

Orgogozo I. et Serieyx H., Changer le changement. On peut abolit les bureaucratie, Seuil, Paris, 1989.

Pariente W., « Analyse d’impact : l’apport des évaluations aléatoires », Stateco, n° 103, 2008, pp. 6-17.

Perret B., « Institutionnalisation et enjeux éthiques de l’évaluation des politiques publiques », Louvain-La-Neuve, conférence du 3 mars 2011.

Patton M., et La Bossière F., « L’évaluation axée sur l’utilisation », in Ridde V. et Dagenais C. (dir.), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, pp. 143-157.

Scharpf F. W., « Institutions in Comparative Policy Research », MPifG working paper, mars 2000. http://www.mpifg.de/pu/workpap/wp00-3/wp00-3.html

Trosch, A., « Les instruments classiques d’évaluation des politiques publiques en Belgique », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, pp.

Radaelli C. (1), « The domestic impact of European union public policy: note on concepts, methods, and the challenge of empirical research », in Rivaud P. et Smith A. (dir.), La commission européenne : les dynamiques d'une reconfiguration institutionnelle, L’Harmattan, 2002, pp. 105-136.

Radaelli C. (2), « Européanisation », in Boussaguet L. et al., Dictionnaire des politiques publiques, Presses de Science Po, 2010, pp. 247-257.

100

Riché M., « Une évaluation au service des politiques de développement régional (FEDER 2007-2013 », in Fouquet A. et Méasson L., L’évaluation des politiques publiques en Europe. Cultures et futurs, L’Harmattan, Grenoble, 2009, pp. 51-56.

Ridde V. et Dagenais C., « Introduction générale à l’évaluation de programme », in Ridde, V. et Dagenais C. (dir.), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, pp. 11-29.

Rossi P. et al., Evaluation: a systematic approach, Sage Publications (7th ed.), 2004.

Salmon A., « La pratique de l’évaluation et de la prospective en Wallonie. Bilan des cinq dernières années : 2000-2005 », Etude réalisée pour la SWEP sous la direction de Jean-Louis Dethier et d’un comité de pilotage composé de Luc Albarello, Henry d’Anethan, Daniel Collet, Philippe Destatte, Jean Houard, Luc Maréchal, Eugène Mommen, 2005.

Schiffino N. et Aish A-M., « La démocratie en Wallonie : une analyse de la satisfaction de l'électorat wallon à l’égard de la démocratie et de la politique », dans Aish A-M. et Frognier A-P, Elections la rupture ? Le comportement des Belges face aux élections de 1999 , de Boeck Université, Bruxelles, 2003, pp. 94-109.

Société Française de l’Évaluation, Voisinages : De la confusion à la complémentarité. Évaluation, audit de performance, pilotage de la performance, management par la qualité, Les Cahiers de la SFE, n° 4, 2009.

Thijs N. et Van de Walle S., « De Ducpétiaux à Copernic : 150 ans de réformes administratives en Belgique », Administration Publique trimestrielle, 2005, pp. 33-50.

Toulemonde J., « Evaluation Culture(s) in Europe: Differences and Convergence between National Practices », Vierteljahrshefte zur Wirtschaftsforschung, n° 3, 2000, pp. 350-357.

Vancoppenolle D. et Legrain A., « Le New Public Management en Belgique : comparaison des réformes en Flandres et en Wallonie, Administration Publique, n° 2, 2003, pp. 112-128.

Vandendorpe L. (1), « De l’évaluation des politiques régionales à une politique régionale de l’évaluation en Wallonie », in de Visscher C. et Varone F. (eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, pp. 67-78.

Vandendorpe, L. (2), « L’institutionnalisation de l’évaluation en Région Wallonne », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, pp. 105-112.

van der Meer F-B, « New Public Management and Evaluation », In C. Pollitt, S. van Thiel & V. Homburg (Eds.), New public management in Europe: adaptations and alternatives, Palgrave Macmillan, 2007, pp. 165-180.

Van de Walle S., Van Roosbroek S. et Bouckaert G., « La confiance dans le secteur public: existe-t-il des signes d’un déclin à long terme ? », Revue Internationale des Sciences Administratives, Vol. 74, n° 1, 2008, pp. 51-70.

Varone F. (1), « L’évaluation comme démarche scientifique », in de Visscher C. et Varone F. ( éd.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant, Louvain-La-Neuve, 2001, pp. 29-42.

101

Varone F. (2), « Pratiques et perspectives de l’évaluation en Communauté française de Belgique », in Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007, pp. 39-64.

Varone F. et Magdalijns C., « L'évaluation des politiques publiques en Belgique : Théorie, pratiques et défis », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, pp. 53-83.

Varone F., Jacob S. et De Winter L., « Polity, Politics and Policy Evaluation in Belgium », Evaluation, Vol. 11, n° 3, 2005, p. 255.

Vedung E., « Four Waves of Evaluation Diffusion », Evaluation, n° 16, 2010, pp. 263-277.

Viel A., « L’utilité de l’évaluation : des conditions favorables et des pratiques variées », Télescope, Vol. 13, n° 1, 2006, pp. 31-36.

Weaver L. et Cousins J. B., « Unpacking the participatory process », Journal of MultiDisciplinary Evaluation (JMDE), n°1, 2004, pp. 19-40.

Weiss C., Evaluation: Methods for Studying Programs & Policies, Prentice Hall, New jersey, 2008.

Widmer T. et Binder H-M, « Les méthodes de recherches », in Bussmann W., Klöti U. et Knoepfel P. (eds) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 207-243.

Documents officiels et sites internet 315

Déclaration de Politique Régionale du Gouvernement wallon pour la législature 2009-2014.

Déclaration de Politique Régionale du Gouvernement wallon pour la législature 2005-2009.

Déclaration de Politique Régionale du Gouvernement wallon pour la législature 1999-2005.

Décret relatif à la création de l’Institut wallon de l’évaluation, de la prospective et de la statistique, 4 décembre 2003.

Décret relatif au contrat de gestion et aux obligations d’information, 12 février 2004.

Parlement wallon, débat en Commission relatif au projet de décret créant l’IWEPS.

Parlement Wallon, travaux parlementaires relatifs au projet de décret créant l’IWEPS, séance du 3/12/2003.

http://www.europeanevaluation.org

http://europe.wallonie.be

http://www.iweps.be

http://www.la-swep.be

315 Pages consultées entre octobre 2011 et juillet 2012.

102

http://planmarshall2vert.wallonie.be

http://parlement.wallonie.be

www.wallonie.be

http://wallex.wallonie.be

103

ANNEXES

Annexe 1 : Les quatre champs constitutifs d’un paradigme 316

Annexe 2 : Les critères d’évaluation

La pertinence analyse le lien entre les objectifs et la nature du problème public que la politique vise à résoudre. Il s’agit de s’interroger sur le fait de savoir si la politique publique est adaptée au problème public, si elle est de nature à répondre aux besoins. ». « Une politique est dite pertinente si ses objectifs sont adaptés à la nature et à la distribution temporelle et socio-spatiale du problème qu’elle est censée prendre en charge »317. La pertinence est sans doute la dimension la plus délicate qu’un évaluateur ait à examiner dans la mesure où elle touche à l’opportunité même d’élaborer une politique. « Si on exclue le critère de la pertinence de l’évaluation, alors celle-ci se voit « amputée de sa tête ». Ceci m’apparait dommage et dommageable car une évaluation de la pertinence peut démontrer, surtout de manière ex ante, que les objectifs d’une politique ne sont pas formulés adéquatement et peut rendre plus visible quels conflits politiques ont conduit à une formulation lacunaire et donc quelles barrières sont posées à une re-formulation plus raisonnable de la politique »318. Si l’évaluation de la pertinence est utile, elle ne doit cependant pas se substituer au travail politique de définition des problèmes publics, de formulation des objectifs et d’élaboration des politiques.

La cohérence analyse la logique de la théorie d’action de la politique publique. Il s’agit également de vérifier si la politique publique est cohérente au regard des autres politiques, parfois prise à d’autres niveaux de pouvoir

L’analyse de la mise en œuvre. Il s’agit d’examiner si les outputs administratifs prévus ont bien été produits. En tant qu’elle ne s’intéresse pas aux effets de la politique, l’analyse de la mise en œuvre ne suffit à la réalisation d’une évaluation. Néanmoins, elle est souvent considérée comme un passage obligé dans la mesure où la réalisation des résultats escomptés dépend en grande partie de la mise en œuvre.

L’effectivité concerne le rapport entre les effets escomptés auprès des groupes cibles et les changements de comportement réellement induits par la politique.

316 Ridde V. et Dagenais C., Op. Cit., p. 13317 Varone F. (1), Op. Cit., p. 36.318 Ibid., p. 37.

104

L’efficacité a trait au rapport qui existe entre les effets désirés d’une politique et ceux qui apparaissent véritablement dans la réalité sociale (et qui sont imputables à la dite politique).

L’efficience allocative se réfère à une analyse coût-bénéfices ou coût-utilité. Dans ce cadre, l’évaluateur cherche à savoir « si on pouvait atteindre les mêmes effets avec moins de ressources, ou si l’on pouvait assurer un meilleur degré de réalisation des objectifs avec les mêmes ressources  »319. Une telle analyse n’est pertinente que lorsque l’on a déjà constaté empiriquement l’efficacité de la politique publique.

L’efficience productive s’intéresse à la relation entre les outputs produits et les ressources investies. L’évaluateur doit garder à l’esprit que l’efficience productive ne saurait constituer une fin en soi dans la mesure où elle ne s’attache qu’aux processus administratifs sans s’intéresser aux effets induits par les politiques publiques dans la réalité sociale. « De fait, un haut degré de rationalisation interne de l’administration et un faible coût de l’activité étatique ne conduisent qu’à un activisme bureaucratique vide de sens aussi longtemps qu’il ne produit aucun effet ou des effets non-voulus »320.

Ces différents critères s’enchainent logiquement. Il ne sert à rien de se lancer dans une analyse de l’efficience productive ou allocative d’une politique publique sans avoir constaté préalablement son efficacité. De la même manière, la production d’ outputs administratifs constitue une condition nécessaire à l’effectivité de la politique publique qui, à son tour, est une condition nécessaire à son efficacité. « If we know that the social need is properly understood, the program theory for addressing it is reasonable, and the corresponding program activities and services are well implemented, then it may be meaningful to assess program outcomes »321.

Annexe 3 : Approches, designs et méthodes : trois éléments structurants

Les approches évaluatives

L’approche évaluative a trait aux relations qui se nouent entre l’évaluateur et les parties prenantes 322. Elle touche fondamentalement à la question de leur participation dans le processus évaluatif. A ce sujet, on différencie généralement les approches technocratiques des approches participatives. Les différentes approches évaluatives constituent un domaine de recherche très fécond et très discuté. Dans le cadre de ce mémoire, nous ne ferons que l’esquisser très schématiquement.323

Les approches technocratiques se caractérisent par une faible participation des noneevaluative stakeholders. En fait, ces approches, largement majoritaires jusque dans les années 80, « s'interdisaient, pour garantir l'indépendance de l'évaluateur et la qualité de son jugement, d'associer

319 Ibid., p. 256.320 Varone F. et Magdalijns C., « L'évaluation des politiques publiques en Belgique : Théorie, pratiques et défis », Pyramides : Revue du Centre d’Etudes et de Recherches en Administration Publique de l’ULB, n° 1, 2000, p. 64.321 Rossi P. et al., Op. Cit., pp. 80-81.322 Dans une perspective large, les stakeholders sont les individus pour qui les résultats de l’évaluation présentent un intérêt particulier. Patton M., et La Bossière F., « L’évaluation axée sur l’utilisation », in Ridde, V. et Dagenais, C., (dir), Approches et pratiques en évaluations de programme, Les Presses de l’Université de Montréal, Montréal, 2009, p. 146. Concrètement, il s’agit essentiellement du commanditaire, de l’évaluateur, des autorités politico-administratives chargées de la mise en œuvre, des groupes cibles, des bénéficiaires finaux et des groupes tiers.323 Nous vous renvoyons dès lors vers des ouvrages tels que : Stufflebeam D., « Foundational Models for 21st Century Program Evaluation », in Stufflebeam D., Madaus G. et Kellaghan T., Evaluation models : viewpoints on educationnal and human services evaluation, Kluwer Academic Publishers, Second edition, Boston, 2000, pp. 33-83 ; Guba E. G. et Lincoln Y. S., Fourth Generation evaluation, Sage Publications, 1989.

105

d'autres acteurs que l’administration responsable du programme évalué »324. Pour reprendre une classification couramment utilisée, elles concernent les évaluations dites de première (l’évaluation consiste simplement en une mesure, en une présentation de scores)325, deuxième (l’évaluation consiste en une description des forces et des faiblesses d’un programme d’actions par rapport à des objectifs fixés préalablement)326 et troisième génération (l’évaluation consiste en un exercice managérial de mesure et de jugement)327. Ces approches ont fait l’objet de nombreuses critiques qui portent notamment sur leur indéfectible attachement au dogme de l’objectivité scientifique, leur manque d’intérêt pour le contexte d’étude, leur forte dépendance aux données chiffrées, leur échec à considérer la pluralité des valeurs et la faible utilisation par les décideurs des évaluations ainsi produites.

Ces critiques, dont la plupart s’inscrivent dans un mouvement plus global d’éclosion du paradigme constructiviste en sciences sociales, sont à la base de l’émergence des évaluations dites participatives de quatrième voire cinquième génération. Bien que les approches qui se réclament du courant participatif sont nombreuses et reposent sur des conceptions et des formes distinctes de la participation328, elles partagent toutes la volonté d’associer les parties prenantes (ou une partie de celles-ci) au processus évaluatif. Il est ainsi possible de les classer en trois grandes catégories sur base de trois axes principaux : 329 330

- Un axe pluraliste (ou responsive) mettant l’accent sur la diversité des acteurs et sur la production de connaissance. La Responsive Evaluation, développée par Stake, est emblématique de cette catégorie.

- Un axe opérationnel mettant l’accent sur l’utilisation des résultats de l’évaluation. L’Utilization-Focused Evaluation, développée par Patton, est emblématique de cette catégorie. On parle également d’évaluation coproduite pour désigner cette catégorie.

- Un axe politique mettant l’accent sur l’émancipation et l’autonomisation des acteurs. L’Empowerment Evaluation, développée par Fetterman est emblématique de cette catégorie. Certains auteurs considèrent qu’il s’agit des évaluations de la cinquième génération.

Une manière d’opérationnaliser l’approche d’une évaluation consiste à procéder à un examen empirique de la participation sur base de trois critères.331

- Le moment de la participation (étendue de la participation)  : Jacob et Daigneault identifient quatre moments clés (tasks), à savoir : la formulation des questions d’évaluation, le choix des

324 Baron G. et Monnier E., « Une approche pluraliste et participative : Coproduire l'évaluation avec la société civile », Informations sociales, n° 110, 2003, p. 1.325 Ce type d’évaluation a émergé dans le cadre de l’évaluation des connaissances des élèves au début du 19 ème

siècle. Il ne rentre pas dans le champ d’application de la définition de l’évaluation des politiques publiques que nous avons retenue.326 Dans la mesure où elle se concentre sur la description, la deuxième génération ne rentre pas dans le champ d’application de la définition de l’évaluation des politiques publiques que nous avons retenue.327 Guba E. G. et Lincoln Y. S., Fourth Generation evaluation, Sage Publications, 1989, p. 18.328 Les diverses appellations en témoignent : évaluation pratique participative, transformative, axée sur les acteurs, évaluation démocratique délibérative, évaluation émancipatrice, évaluation de 4 ème génération, etc. A ce sujet, voyez : Jacob S. et Ouvrard L., L’évaluation participative. Avantages et difficultés d’une pratique innovante, Cahiers de la performance et de l’évaluation, n°1, 2009, p. 18. Daigneault P. et Jacob, S., « Toward accurate measurement of participation: Rethinking the conceptualization and operationalization of participatory evaluation », American Journal of Evaluation, volume 30, n°3, 2009, p. 331.329 Jacob S. et Ouvrard L., Op. Cit., pp. 18-19. On retrouve sensiblement la même classification dans Weaver L. et Cousins J. B., « Unpacking the participatory process », Journal of MultiDisciplinary Evaluation (JMDE), n°1, 2004, pp. 19-21. Ainsi que dans Baron G. et Monnier E., OP. Cit., Informations sociales, n° 110, 2003, pp. 3-6. 330 Pour quelques classifications des différentes approches participatives, voyez annexe 5.331 Nous reprenons ici la conceptualisation de Daigneault P-M. et Jacob, S., Op. Cit., pp. 338-343.

106

méthodes de recherche et la conception des outils méthodologiques, la formulation des jugements et des recommandations et la dissémination et diffusion des résultats.

- La largeur de la participation  : cela concerne la diversité des participants, le degré d’ouverture à la participation des parties prenantes au processus d’évaluation.

- La profondeur de la participation  : cela a trait à l’intensité de la participation qui dépend du degré d’implication (du pouvoir) des parties prenantes dans le processus évaluatif.

Les designs de recherche 332

Le design est « le noyau conceptuel d’une évaluation »333. Il touche à la question de la construction de la démarche de recherche, à l’heuristique et la stratégie de recherche mise en place. Concrètement, il s’agit de savoir quels sont les modalités de traitement empiriques des questions évaluatives. « Le design de recherche doit tout spécialement déterminer la « mécanique » du projet (soit les rapports supposés entre les variables explicatives et à expliquer), présenter et fonder le concept d’analyse ainsi que définir les indicateurs retenus pour saisir concrètement les variables »334.

Globalement, on distingue trois types de design : l’expérimentation, la quasi expérimentation et l’étude de cas.

En matière d’évaluation des politiques publiques, l’expérimentation repose sur l’assignation aléatoire d’un groupe bénéficiaire de la politique publique (groupe traitement) et d’un groupe non bénéficiaire (groupe contrôle). L’idée est que la comparaison entre ces deux groupes, après intervention publique, permet d’obtenir une mesure non biaisée de ses effets dans la mesure où « la sélection aléatoire, assure, si l’échantillon est suffisamment grand, que les caractéristiques observables mais aussi inobservables des individus sont similaires dans les groupes traitement et contrôle »335. Dans ce cadre, si la randomisation est correctement effectuée, les validités interne336 et externe337 des évaluations sont maximales. En pratique, des difficultés non négligeables apparaissent néanmoins : effets de sélection, modification de comportement en raison de la participation à une expérimentation, effets de défection, phénomène d’attrition, effets de contexte, effet d’équilibre général,… En outre, la plupart du temps, une évaluation aléatoire est impossible à mettre en œuvre en raison d’une saturation de la cible : la politique publique est élaborée pour tout le monde et il n’est plus possible de comparer un groupe traitement et un groupe contrôle. Enfin, les évaluations aléatoires peuvent poser d’importants problèmes éthiques. C’est le cas lorsqu’« il existe une conviction forte que le programme a des effets positifs et qu’on refuse l’accès de certaines personnes qui auraient pu avoir accès, en absence d'évaluation, ou inversement que le programme a des effets négatifs connus et qu’il est quand même testé »338.

Les designs quasi expérimentaux cherchent à reproduire, à travers différents outils statistiques, les conditions du design expérimental bien que les exigences des expériences ne soient pas respectées

332 Pour cette partie, nous nous sommes inspirés de Klöti U. et Widmer T., « Les designs de recherche », in Bussmann W., Klöti U. et Knoepfel P. (eds.) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, pp. 181-205.333 Balthasar A., « Les étapes du travail », in Bussmann W., Klöti U. et Knoepfel P. (eds.) (traduit de l’allemand par Varone F.), Politiques Publiques. Évaluation, Economica, Paris, 1998, p. 177.334 Klöti U. et Widmer T., Op. Cit., p. 181.335 Pariente W., « Analyse d’impact : l’apport des évaluations aléatoires », Stateco, n° 103, 2008, p. 7.336 La validité interne concerne la relation de cause à effet. Plus la validité interne est importante, plus on est certain que les effets observés sont imputables à la politique publique et non à des facteurs contextuels. 337 La validité externe est liée au caractère généralisable des résultats de l’évaluation.338 Pariente W., Op. Cit., p. 13.

107

dans leur globalité (pas d’assignation aléatoire). Autrement dit, les quasi expérimentations « tentent de résoudre le problème de biais de sélectivité sous une série d’hypothèses permettant de reconstruire les conditions d’un cadre expérimental »339. L’idée est de reconstruire un groupe de contrôle qui soit statistiquement le plus proche possible du groupe traitement. Différentes techniques existent : appariement (matching), estimation en double différence, variables instrumentales, régressions en discontinuités,… Les designs quasi expérimentaux peuvent représenter des alternatives valables aux expérimentations qui ne peuvent être que rarement réalisées. Cependant, les designs quasi expérimentaux souffrent d’importantes limites notamment liées aux techniques statistiques utilisées et aux informations disponibles.340

Les designs non expérimentaux ne s’appuient sur aucune logique expérimentale : ils n’impliquent donc pas de comparaison entre un groupe bénéficiaire de la politique publique (groupe traitement) et un groupe non bénéficiaire (groupe contrôle). Ce type d’évaluation, très répandu dans la pratique, peut reposer sur une étude de cas ex post, sur des analyses longitudinales, sur une comparaison avant/après,… Leur validité interne et externe apparaît plus fragile. Néanmoins, ces designs peuvent permettent de mieux prendre en considération le contexte et l’environnement dans lesquels la politique publique se déploie et ses différents acteurs interagissent.

Les méthodes évaluatives

Les méthodes évaluatives concernent les procédés de collecte et d’analyse des données développés par les sciences sociales.341 A ce sujet, on distingue généralement les méthodes quantitatives des méthodes qualitatives.342 Les méthodes quantitatives se rattachent majoritairement au paradigme empirico-analytique (ou positiviste), inspiré des sciences de la nature. Dans cette perspective, on suppose que le monde social peut-être séparé en phénomènes partiels et en éléments entre lesquels des rapports causaux existent.343 Ces rapports hypothétiques peuvent être testés empiriquement de manière déductive à travers la construction de variables et l’analyse des liens qui existent entre elles.

Les méthodes qualitatives, quant à elles, se rattachent principalement au paradigme interprétatif-herméneutique (ou constructiviste), orienté vers les sciences humaines. Celui-ci postule que le monde social ne peut être déchiffré qu’à travers une démarche compréhensive. « Dans un sens strict, aucune réalité sociale objective n’existe, mais uniquement différentes reconstructions sociales de celles-ci »344. Dans cette optique, comme toute connaissance, l’évaluation d’une politique publique se réalise à travers l’interaction et la communication entre différents acteurs porteur de différentes perspectives.

339 Ibid., p. 7.340 Leur validité interne et externe vont dépendre de ces outils statistiques et des informations disponibles. 341 Gardons à l’esprit que ce qui fait la spécificité de l’évaluation des politiques publiques par rapport à d’autres formes d’évaluation est l’utilisation de méthodes de recherche des sciences sociales à l’aide desquels l’évaluateur va mesurer les effets de la politique évaluée et sur base desquels il va fonder un jugement sur ces effets. 342 Widmer T. et Binder H-M, « Les méthodes de recherches », in Bussmann W., Klöti U. et Knoepfel P. (eds.), Op. Cit., pp. 207-243.343 Ibid., p. 208.344 Ibid., p. 208.

108

Annexe 4 : Quelques typologies en matière d’approches évaluative.

Source : Baron G. et Monnier E., « Une approche pluraliste et participative : Coproduire l'évaluation avec la société civile », Informations sociales, n° 110, 2003.

Source : Jacob S. et Ouvrard L., L’évaluation participative. Avantages et difficultés d’une pratique innovante, Cahiers de la performance et de l’évaluation, n° 1, 2009, p. 19.

109

Annexe 5 : Historique de l’institutionnalisation de l’évaluation des politiques publiques en Wallonie

Phases Dates Réalisation

Phase règlementaire

1970 Création de la Région Wallonne

1988 Création d’une obligation d’évaluation systématique des Fonds Structurels. 1ère évaluations des Fonds Structurels

1992 Conseil européen d’Edimbourg : augmentation substantielle des crédits réservés aux actions structurelles de l’Union

1993 Modification des règlements européens pour la période 1994-1999 : renforcement considérable des exigences en matière d’évaluation. La réglementation crée pour les autorités nationales et régionales, une obligation d’évaluation systématique des programmes avant, pendant et après leur mise en œuvre. Une obligation aussi astreignante en matière d’évaluation à une aussi grande échelle n’a pas d’équivalent au monde

1998 2ème congrès « la Wallonie du futur » initié par l’Institut J. Destrée. La notion d’évaluation émerge aux côtés de celles de contractualisation et de prospective. On préconise la création d’une Société Wallonne de l’Évaluation.

Phase d’expérimentation

1999-2000 Création de la SWEP

2000 Adoption du CAW

2002 Premier rapport d’évaluation du CAW

Phase d’institutionnalisation

formelle

2004 Création de l’IWEPS

2004 Contrat d’Avenir renouvelé

Plan Marshall

110

Annexe 6 : Indices théoriques de la maturité et du degré d’institutionnalisation de l’évaluation

Source : Varone F., Jacob S. et De Winter L., « Polity, Politics and Policy Evaluation in Belgium », Evaluation, Vol. 11, n° 3, 2005, p. 257-273.

111

Annexe 7 : Les clauses évaluatives depuis le début de la législature

Nbre Décrets Extraits1 10 mai 2012. – Décret transposant la Directive 2008/98/CE du

Parlement européen et du Conseil du 19 novembre 2008 relative aux déchets et abrogeant certaines directives

(Transposition européenne)

Art. 18. « Art. 24. §1er. Le Gouvernement établit conformément aux articles D.40 à D.47 du Livre Ier du Code de l’Environnement un plan relatif à la gestion des déchets.

Ce plan est établi conformément à l’article 1er, §§1er à 3, à l’article 6bis, et à l’article 26bis.…Le plan comprend en outre une évaluation de la manière dont il soutiendra la mise en œuvre de la politique wallonne en matière de déchets.

2 9 février 2012. – Décret portant assentiment à l’accord de coopération entre la Communauté française, la Région wallonne et la Région de Bruxelles-capitale relatif à l’éducation à l’environnement, à la nature et au développement durable

Art. 5. Le pilotage de la présente coopération, comprenant sa supervision et son évaluation régulière, sera assuré par un Comité de pilotage

3 12 janvier 2012. – Décret modifiant le décret du 6 novembre 2008 relatif à la lutte contre certaines formes de discrimination

Art. 16. « Le Gouvernement assure le suivi du plan d’action. Il présente au Parlement wallon un rapport d’évaluation à la fin de la législature sur laquelle porte le plan d’action. »;

4 27 octobre 2011. – Décret relatif au soutien à la création d’emploi en favorisant les transitions professionnelles vers le statut d’indépendant à titre principal

Art. 12. L’Office [Office wallon de la formation professionnelle et de l’emploi] procède tous les trois ans à une évaluation de la mise en œuvre du présent décret et communique les résultats au Gouvernement. Ce rapport d’évaluation doit porter notamment sur les effets de la mesure sur la création d’emplois et le caractère suffisant de la durée de l’expérience préalable de trois ans prévue à l’article 3, 1°, b), du présent décret. Le Gouvernement est habilité à définir les critères du rapport d’évaluation.

5 31 mars 2011. – Décret modifiant le décret du 6 mai 1999 relatif à l’Office wallon de la Formation professionnelle et de l’Emploi en vue d’instituer un comité stratégique, un bureau exécutif unique et un comité d’audit

Art. 50. Le comité, par l’intermédiaire de la cellule d’audit, établit un programme annuel et un plan pluriannuel de missions d’audits internes.

Pour chaque mission d’audit, un rapport écrit contenant la description des faits et des constatations, ainsi qu’une évaluation du système de contrôle interne et des éventuelles recommandations est établi.

6 22 décembre 2010. – Décret relatif à la sécurité routière et portant des dispositions diverses en matière routière et de voies hydrauliques

Transposition de la Directive 2008/96/CE concernant la gestion de la sécurité des infrastructures routières

Art. 3. Aux fins du présent décret, on entend par: – évaluation des incidences sur la sécurité routière: analyse comparative stratégique des incidences qu’une nouvelle route ou une modification substantielle du réseau existant auront sur le niveau de sécurité du réseau routier;

Art. 4. Une évaluation des incidences sur la sécurité routière est effectuée pour tous les projets d’infrastructure.

112

(Transposition européenne) …L’évaluation des incidences sur la sécurité routière indique les considérations en matière de sécurité routière qui contribuent au choix de la solution proposée. Elle fournit, en outre, toutes les informations nécessaires à l’analyse coûts/avantages des différentes options évaluées.

Le Gouvernement peut préciser les modalités d’application du présent article.7 22 décembre 2010. – Décret modifiant la loi du 12 juillet 1973 sur

la conservation de la nature en ce qui concerne la mise en œuvre du régime Natura 2000

(Transposition européenne)

Art. 7. « Art. 25quater. Sans préjudice de l’article 4, le Gouvernement met en œuvre un système de suivi de l’état de conservation, à l’échelle de la Région wallonne, de chaque type d’habitat naturel et de chaque type d’espèce pour lesquels des sites doivent être désignés.

Le système de suivi prévoit une évaluation périodique de l’état de conservation des habitats naturels et des espèces pour lesquels des sites doivent être désignés.

Nbre Arrêté Extraits8 24 mai 2012. – Arrêté du Gouvernement wallon portant

approbation du plan 2012-2015 de réception et de traitement des déchets du Port de Liège

- Evaluation de la mise en œuvre du planConformément à l’annexe Ire de l’arrêté du Gouvernement wallon du 27 février 2003, ce plan couvre les éléments suivants:

– une évaluation des besoins en termes d’installations de réception portuaires, compte tenu des besoins des navires qui font habituellement escale dans le port;

9 10 novembre 2011. – Arrêté du Gouvernement wallon modifiant l’arrêté du Gouvernement wallon du 18 octobre 2002 permettant la destruction de certaines espèces gibiers

Art. 2. Le Ministre qui a la Chasse dans ses attributions présente au Gouvernement une évaluation de la mise en œuvre du présent arrêté pour le 31 décembre 2012.

10 7 juillet 2011. – Arrêté du Gouvernement wallon relatif à la mise en place d’un système communautaire de suivi du trafic des navires et d’information

Art. 10. Évaluation.L’autorité portuaire fait rapport à l’autorité compétente, à la demande de celle-ci, sur les progrès réalisés dans la mise en œuvre du présent arrêté.

11 31 mars 2011. – Arrêté du Gouvernement wallon modifiant le Livre II du Code de l’Environnement contenant le Code de l’Eau en ce qui concerne la gestion durable de l’azote en agriculture

Art. R. 192. §1er. §3. Pour chaque zone vulnérable, le Ministre établit un tableau de bord du programme d’action, destiné à évaluer son efficacité. Celui-ci est complété annuellement par l’administration qui le transmet au Ministre pour le 30 juin de chaque année.

12 25 novembre 2010. – Arrêté du Gouvernement wallon portant exécution des articles 3, 13, §2, et 18 du décret du 16 juillet 1985 relatif aux parcs naturels

Art. 4. Les évaluations intermédiaire et décennale des parcs naturels visées à l’article 18 du décret sont réalisées conformément à une grille d’évaluation arrêtée par le Ministre ayant les Parcs naturels dans ses attributions.

La grille d’évaluation porte sur les thèmes suivants:

113

1° évaluation du leadership;…8° mesure des résultats des performances-clés atteints par le parc naturel.

Les résultats des performances-clés visés à l’alinéa 2, 8°, se rapportent à l’évaluation des réalisations définies comme essentielles et prioritaires par la commission de gestion au regard de ses missions telles qu’elles découlent du décret.

La grille d’évaluation prévoit une méthode de pondération des thèmes visés à l’alinéa 2, de manière à obtenir une équivalence entre les résultats en matière de management interne du parc, de résultats obtenus par le parc naturel auprès du public et des partenaires, et de résultats des performances-clés.

13 27 mai 2010. – Arrêté du Gouvernement wallon relatif au subventionnement des mesures de l’accord tripartite pour le secteur non-marchand privé wallon

Art. 15. Une évaluation des résultats obtenus en 2009-2010 et 2011 sera réalisée le 30 juin 2012 au plus tard. Elle se fera sur base d'un relevé établi sur un modèle défini par l'Agence.

14 30 avril 2009. – Arrêté du Gouvernement wallon portant modification de l’arrêté de l’Exécutif régional wallon du 15 novembre 1990 portant création d’un Conseil de la Politique scientifique en Région wallonne

« 4° d’évaluer tous les deux ans la politique scientifique de la Région wallonne »;

15 30 avril 2009. – Arrêté du Gouvernement wallon fixant les critères objectifs de répartition du Fonds spécial de l’aide sociale revenant aux centres publics d’action sociale de la Région wallonne à l’exception des centres publics d’action sociale de la Communauté germanophone (M.B. du 11/06/2009, p. 41459)

Art. 16. Tous les deux ans, un rapport est rédigé à destination du Gouvernement wallon par la Direction générale opérationnelle des Pouvoirs locaux, de l’Action sociale et santé du Service public de Wallonie. Ce rapport évaluera l’impact de la mise en œuvre du mécanisme de répartition du Fonds spécial de l’aide sociale sur l’activité des C.P.A.S. en matière de politique d’action sociale. Ce rapport sera transmis au Parlement wallon.

16 29 septembre 2011. – Code wallon de l’action sociale et de la santé

(M.B. 2011027223 du 21/12/2011, p. 79394)

Dans le cadre de cette fonction, le Conseil wallon de l’action sociale et de la santé a pour missions:2° d’évaluer, de manière qualitative et quantitative et dans une perspective de satisfaction des bénéficiaires, l’éventail de structures œuvrant sur le plan de la politique d’action sociale et de la santé et de formuler des propositions pour leur développement ultérieur;

114

Évaluations de contrat de gestion et d’octroi ou de reconduction d’agrément (ou de subvention)

Nbre Texte Extrait1 26 AVRIL 2012. — Décret modifiant certaines dispositions du

Code de la démocratie localeet de la décentralisation

Art. 28bis. « La commune conclut un contrat de gestion avec la régie communale autonome. Ce contrat précise au minimum la nature et l’étendue des tâches que la régie communale autonome devra assumer, ainsi que les indicateurs permettant d’évaluer la réalisation de ses missions. Le contrat de gestion est établi pour une durée de trois ans et est renouvelable. ».

Art. 30.§3. Chaque année, le collège communal établit un rapport d’évaluation de l’exécution du contrat de gestion. Ce rapport est soumis au conseil communal, qui vérifie la réalisation des obligations découlant du contrat de gestion. »

2 26 janvier 2012. – Décret portant assentiment à l’accord de coopération conclu le 10 novembre 2011 entre la Communauté française et la Région wallonne créant une École d’administration publique commune à la Communauté française et à la Région wallonne

Art. 9. §3. Préalablement au renouvellement du contrat de gestion, le Gouvernement wallon et le Gouvernement de la Communauté française, en concertation avec l’École, à l’intervention de son Conseil d’administration, procèdent conjointement à l’évaluation du fonctionnement et de l’état du service public dont est chargé l’École.

Cette évaluation comporte les aspects relatifs au contexte économique, éducatif, social et environnemental dans lequel travaille l’École, aux perspectives d’avenir, à la satisfaction des usagers et, le cas échéant, une analyse des effets du contrat de gestion précédent.

Le Gouvernement wallon et le Gouvernement de la Communauté française font, par décision conjointe, également procéder parallèlement par un tiers à une évaluation distincte.

Le Gouvernement wallon et le Gouvernement de la Communauté française adoptent, conjointement et en tenant compte des évaluations réalisées décrites aux alinéas 1er à 3, une note d’orientation déterminant les lignes directrices du projet de contrat de gestion.

3 31 mai 2012. – Arrêté du Gouvernement wallon modifiant l’arrêté du Gouvernement wallon du 19 septembre 2002 relatif à l’intégration des jeunes handicapés

Art. 6. « Le service procède à l’évaluation de son activité au moins une fois par an. Le service transmet le rapport d’activités à l’AWIPH pour le 30 juin de chaque année. »

Chapitre 3. — Le contenu de la convention de soutien à la scolaritéArt. 78. Les conditions de l’intervention ainsi que les moyens respectifs de mise en œuvre de la collaboration entre l’école et le service sont précisées dans la convention englobant les dimensions scolaires, éducatives, et thérapeutiques et, notamment:…5° le rythme des évaluations de la mise en œuvre de la convention;

4 31 mai 2012. – Arrêté du Gouvernement wallon modifiant l’arrêté du Gouvernement wallon du 22 avril 2004 relatif aux

Le service procède à l’évaluation de son activité au moins une fois par an. Le service transmet le rapport d’activités à l’AWIPH pour le 30 juin de chaque année.

115

conditions d’agrément et de subventionnement des services d’aide précoce et des services d’accompagnement pour adultes destinés aux personnes handicapées

5 17 novembre 2011. – Arrêté du Gouvernement wallon relatif aux conditions d’agrément et de subventionnement des services d’accompagnement en accueil de type familial pour personnes handicapées

Art. 17. §3. Le service procède à l’évaluation de son activité au moins une fois par an.

§4. Le projet de service, ses mises à jour et le rapport annuel d’évaluation de l’activité du service sont portés à la connaissance de tous les intervenants et mis à leur disposition en permanence.

6 24 mars 2011. – Arrêté du Gouvernement wallon modifiant l’arrêté du Gouvernement wallon du 30 avril 2009 relatif aux indemnités et subventions dans les sites Natura 2000

« Une subvention peut être accordée aux travaux de restauration d’habitats et d’habitats d’espèces d’intérêt communautaire ainsi qu’aux travaux de gestion des milieux ouverts non agricoles. »;

2° l’alinéa 2 est complété par les phrases suivantes:

« L’administration évalue l’opportunité de la demande de subvention au regard du potentiel biologique et sur la base d’une comparaison entre les coûts et les bénéfices identifiables de l’opération. Le Ministre peut établir les modalités de cette comparaison. »;

7 27 mai 2010. – Arrêté du Gouvernement wallon portant application du décret du 30 avril 2009 relatif à l’agrément en vue de l’octroi de subventions et à l’octroi de subventions aux réseaux et aux services d’aide et de soins spécialisés en assuétudes ainsi qu’à la reconnaissance en vue de l’octroi de subventions et à l’octroi de subventions à leurs fédérations

Art. 29. §1er. Le contrôle et l’évaluation des activités du réseau ou du service sont menés par les Services du Gouvernement qui, conformément à l’article 2 de l’arrêté du Gouvernement wallon du 18 décembre 2003 portant le code de la fonction publique wallonne, notamment la charte de bonne conduite administrative contenue à l’annexe 1re:

2° évaluent de manière participative la mise en place du plan d’action et sa réalisation effective.

Lors de l’évaluation participative visée au premier alinéa, 2°, le réseau veille à la présence de toutes les personnes en charge de la fonction de coordination lors de l’inspection.

8 17 décembre 2009. – Arrêté du Gouvernement wallon portant application du décret du 30 avril 2009 relatif à l’agrément des centres de coordination des soins et de l’aide à domicile en vue de l’octroi de subventions

Art. 29. §1er. Le contrôle et l’évaluation des activités du centre de coordination sont menés par l’inspection organisée par les Services du Gouvernement qui:

1° vérifient la conformité aux dispositions adoptées par ou en application du décret, notamment le respect des conditions d’agrément et du maintien de celui-ci;

2° évaluent la mise en place de la fiche d’appel et du dossier de coordination ainsi que leur utilisation effective.…

9 10 décembre 2009. – Arrêté du Gouvernement wallon portant exécution du décret du 3 avril 2009 relatif à l’agrément des

Art. 50. §1er. Le contrôle et l’évaluation des activités du service sont menés par l’inspection organisée par les Services du Gouvernement qui:

116

services de santé mentale et à la reconnaissance des centres de référence en santé mentale en vue de l’octroi de subventions

…2° évaluent le projet de service de manière participative avec les membres des équipes, des initiatives spécifiques ou des clubs thérapeutiques, en confrontant celui-ci à sa réalisation effective, en mesurant les écarts entre le projet de service et sa mise en œuvre au moyen des indicateurs définis par le service et en envisageant les perspectives de développement des activités.

10 18 juin 2009. – Arrêté du Gouvernement wallon relatif aux conditions d’élaboration, d’exécution et de contrôle des contrats d’objectifs et aux critères et modalités de mise en œuvre des programmes de gestion des sociétés de logement de service public

Art. 9. §1er. L’évaluation de l’exécution du contrat est réalisée au moyen de l’évaluation du programme de gestion.

§2. Annuellement, dans le mois de la date anniversaire de la notification par la Société wallonne de l’approbation du programme de gestion, le Directeur gérant établit le rapport de gestion relatif à l’état d’avancement de celui-ci selon le modèle figurant en annexe 3 au présent arrêté.

La Société wallonne complète le tableau de bord de suivi figurant en annexe 3 au présent arrêté et évalue l’état d’avancement de l’atteinte de ces objectifs par la société.

La Société wallonne notifie son évaluation à la société.

§3. Le Directeur gérant est entendu par le Conseil d’administration de la société, dans les deux mois de la date visée au §2 du présent article ou à sa plus prochaine séance. La Société wallonne les assiste sur la base de l’évaluation visée au paragraphe précédent.

11 18 juin 2009. – Arrêté du Gouvernement wallon portant exécution du décret du 30 avril 2009 portant des mesures de simplification administrative en matière d’action sociale et de santé

Art. 4. « Il est évalué au minimum au terme de la deuxième année d'agrément et, par la suite, à des intervalles réguliers de quatre ans. Le conseil des hébergés participe à l'évaluation. »

12 18 juin 2009. – Arrêté du Gouvernement wallon portant des mesures de simplification administrative en matière d’action sociale et de santé

Art. 7. L’article 56 de l’arrêté du Gouvernement wallon du 4 juillet 1996 portant exécution du décret du 6 avril 1995 relatif à l’intégration des personnes handicapées est remplacé par la disposition suivante:

« Art. 56. L’agrément est accordé pour une durée indéterminée.

À partir du 1er juillet 2009, les services transmettent à l’Agence, tous les cinq ans, les informations, telles que déterminées dans les dispositions spécifiques, nécessaires à leur évaluation.

13 27 mai 2009. – Arrêté du Gouvernement wallon portant exécution du décret du 11 mars 2004 relatif à l’agrément et au subventionnement des missions régionales pour l’emploi

Art 19. Le Ministre conclut avec l'Intermire la convention visée à l'article 12bis, alinéa 2 du décret, laquelle prévoit une évaluation annuelle conditionnant sa reconduction.

117

14 27 mai 2009. – Arrêté du Gouvernement wallon portant application du décret de la Communauté française du 29 mars 1993 relatif à l’agrément et au subventionnement des associations de santé intégrée

Art. 11. L’évaluation relative à l’exercice de la fonction d’accueil assure que l’association fonctionne de manière à garantir la qualité et la permanence continue de l’accueil durant les heures d’ouverture.

Pour ce faire, l’évaluation porte sur les aspects suivants: … très détaillé

Art 18. §2. Les fonctionnaires et agents de l’administration visés au paragraphe précédent évaluent au moins tous les deux ans le plan d’action de manière participative avec les membres de l’association en confrontant celui-ci à la mise en œuvre effective, en examinant les écarts entre les objectifs et les actions au moyen des indicateurs définis par l’association et en envisageant les perspectives de développement des activités.

L’association veille à la présence de tous les membres de l’association ou au moins d’un représentant de chacune des professions qui y exercent ses activités.

15 27 mai 2009. – Arrêté du Gouvernement wallon modifiant, en ce qui concerne les relais santé, l’arrêté du Gouvernement wallon du 29 janvier 2004 relatif à la reconnaissance et au subventionnement des relais sociaux

Les conventions conclues entre les partenaires mentionnent qu'un travail d'accompagnement et de soutien de la population ciblée s'effectue dans ou via les abris de nuits et une présence sur le terrain, la manière dont les missions sont effectuées et évaluées, les droits et obligations en matière de subvention + modèle d’évaluation.

Annexe 8 : Les évaluations de politiques publiques dans la DPR (2009-2014)

Thème identifié dans la DPR étant susceptible d’être évalué

Page(s) Critères Contexte dans lequel le mot "évaluation" apparait dans la DPR

Décret relatif à la lutte contre certaines formes de discriminations

111 Mise en œuvre Le GW évaluera, tous les 5 ans, la mise en œuvre de ce décret

Opérateurs de stimulation économique 22 Enquêtes de satisfaction

Le GW entend évaluer les opérateurs de stimulation économique via des enquêtes de satisfaction

Candidatures bourses FRIA 24 Evaluation de candidature

Bourses FRIA pour lesquelles les entreprises seront étroitement associées à l’évaluation des candidatures

Examen « développement durable » 29, 137 Après évaluation, ce type d’examen pourra …

Plan de Simplification et d’e-government 30 … Plan de simplification et d’e-Government, régulièrement évalué en conseil des

118

ministresZones Franches 34 socio-économique le Gouvernement évaluera et, le cas échéant, redéfinira les zones franches rurales à

partir de critères de nature socio économique et territorialeSoutien public aux entreprises d’économie sociale

36 Le GW évaluera le soutien public aux entreprises d'économie sociale

Politique publique (santé) 51 Le Gouvernement s'appuiera sur le secteur de la recherche pour évaluer les politiques publiques.

acteurs de l’intermédiation scientifique et technologique

52 Evaluer l'ensemble des acteurs

Mise en œuvre de mesures ambitieuses pour atteindre les objectifs fixés par le décret régional « climat »

60 Mise en œuvre La mise en œuvre de ces mesures sera évaluée régulièrement par le Gouvernement

Potentiel et coûts-bénéfices respectifs du réemploi, …

64 Coût/bénéfice Le GW entend réaliser une étude indépendante, afin d'évaluer, au regard de différents gisements de déchets, le potentiel et les coûts-bénéfices respectifs du réemploi,…

Coût social, économique et environnemental des déchets

65 Une évaluation du dispositif sera réalisée à mi législature au regard des objectifs de prévention des déchets, , de limitation des incivilités, de la transparence et de la charge sur les ménages les plus fragiles

Aides dans le domaine des énergies renouvelables,

78 Le GW s’engage à évaluer et adapter les aides dans le domaine des énergies renouvelables

Emissions de CO2 engendrées par le trafic aérien

101 Le GW s’engage à mettre en place un système d'évaluation régulière des émissions de CO2 engendrées par le trafic aérien

Portail « accueil des enfants » 101 Le GW veillera à évaluer le Portail « accueil des enfants »

Dispositifs en place en matière de soutien à une participation active des aînés à la vie en société

103 Le GW propose d’évaluer les dispositifs en place

(Politique de maintien à domicile) Besoins de la population dépendante,

104 Besoins Des critères objectifs d'évaluation des besoins seront établis sur la base d'une cartographie, dans le souci d'une bonne couverture géographique et de l'accessibilité à tous les usagers

Qualité de la prise en charge des aînés dépendants à domicile

104 qualité Le GW s’engage à évaluer la qualité de la prise en charge des aînés dépendants à domicile et l'adapter

Formules de répit pour les familles rencontrant les besoins des personnes en situation de handicap

110 Le GW veillera à développer, après évaluation, les formules de répit pour les familles rencontrant les besoins des personnes en situation de handicap

Besoins des Services d'Accompagnement et des Services d'Aides à l'intégration

111 Besoins Le GW veillera à évaluer les besoins des Services d'Accompagnement et des Services d'Aides à l'intégration

119

Extension du budget d'assistance personnelle

111 Pertinence Le GW veillera à prévoir une évaluation à mi-législature, évaluer la pertinence des seuils d’accès à l’aide matérielle

Soutien aux sociétés innovantes (Spin-off,…) 24, 52 24 : Evaluation et renforcement du soutien aux sociétés innovantes, 52 : Evaluer et continuer à soutenir les sociétés innovantes issues des Universités, Hautes Ecoles et Centres de recherche

Projets de recherche financés par la Région (Décret Recherche, aspect stratégie et évaluation)

24, 51 réalisation des objectifs

24 : mettre en place des procédures d’évaluation ex-post des projets financés par la région… L’évaluation ex-post des différents projets de recherche doit permettre d’en estimer les résultats en termes de réalisation des objectifs

Programme de création de nouvelles zones d’activité économique

25, 33 25 et 33 : Le programme de création de nouvelles zones d’activité économique sera évalué

Efficacité des mesures de discrimination positives applicables aux ZFU et ZFR

25 efficacité Mise en œuvre des instruments permettant d’évaluer l’efficacité des mesures de discrimination positive applicables aux ZFU et ZFR

Alliance emploi-environnement : Contrat multisectoriel pour la construction durable

27 effet Le GW évaluera régulièrement les effets du contrat multi-sectoriel + définition d’indicateurs d’évaluation

Alliance emploi-environnement : plan pluriannuel pour la construction durable

27 effet Le GW évaluera régulièrement les effets du plan pluriannuel

Plan Marshall 2.vert 30 Réalisation régulière d’évaluations périodiques par des experts indépendants

Emploi des jeunes dans les quartiers prioritaires : expérience pilote dans 5 quartiers

19, 39 19 : L’expérience pilote, vue son évaluation positive (déjà fait ??) 39 : Après évaluation de cette expérience, le GW…

Plan Langues 18, 45 18 : Le GW entend évaluer le « plan langues » 45 : Il (le GW) entend évaluer, adapter, poursuivre et amplifier les dispositifs du « plan langues »

Centres de Technologies Avancées (CTA) et centres de Compétences (CdC)

48 réalisation des objectifs

Evaluation de leurs résultats sur le plan qualitatif et en regard des objectifs fixés

Politiques d’alphabétisation 50 Développement d’un dispositif d'évaluation régulière des politiques d'alphabétisation

Primes « énergie-logement » 57, 76 L'action du Gouvernement consistera à réaliser une évaluation globale de toutes les aides disponibles en RW en matière d’énergie et de logement

Action du gouvernement en matière de développement humain et d’empreinte écologique

29 Développer des indicateurs qui permettent de mesurer le développement humain et l’empreinte écologique, afin de guider et d’évaluer l’action du Gouvernement, en complément du PIB

DIISP (Dispositif intégrée d’insertion socioprofessionnelle)

42 Le Gouvernement réalisera aussi une évaluation du DIISP

Législation visant à promouvoir la participation équilibrée des femmes et des

122 Le GW évaluera la législation visant à promouvoir la participation équilibrée des femmes et des hommes dans les organes

120

hommes dans les organes consultatifsObservatoire de la santé 106 fonctionnement Une évaluation de son fonctionnement aura lieu en 2010

APE Jeune 20, 39 20 : Sur base d’une évaluation à réaliser, 39 : Evaluation quantitative et qualitative à réaliser

APE 40 Le dispositif APE mériterait une évaluation globale

Mission d’éducation et de formation de l’école

16 Mise en œuvre Evaluer la mise en œuvre des solutions aux problèmes d’éducation et de formation à l’école

Objectifs prioritaire horizon 2013 pour l’éducation

16 Mise en œuvre Evaluer avec objectivité les acquis et les améliorations à apporter dans leur mise en œuvre

Système wallon d'octroi d'aides et de primes (Développement durable : primes aux entreprises

32 Le GW évaluera le système wallon d'octroi d'aides et de primes

Dispositif IDESS 36 Le GW évaluera le dispositif IDESS

Conséquences du plan d’accompagnement et de suivi actif des chômeurs transférés vers le CPAS

42 effet Gouvernement veillera à intensifier les collaborations entre …. en mettant en place une plate-forme de pilotage chargée d'évaluer les conséquences du plan d'accompagnement

Efforts de formation 46 … travaux menés au fédéral concernant l'évaluation des efforts de formation

Projets du SDER 80 Le SDER déclinera des options régionales ainsi que des objectifs chiffrés et des indicateurs permettant d'évaluer les projets

Expériences pilotes telles que les bourses de covoiturage, les « taxis ruraux »,… (mobilité)

83, 93 83 : En matière de mobilité, soutenir, évaluer et le cas échéant généraliser les expériences pilotes telles que les bourses de

Plans communaux ou intercommunaux de mobilité durable

91 effet Ils doivent comprendre des mécanismes d'évaluation des effets produits en regard des objectifs fixés

Plan de développement de la desserte ferroviaire

94 Ce plan, établi en 2010, sera évalué par le GW chaque année

Evolution du réseau routier 97 budget, juridique, env.

Tout nouveau projet doit avoir fait, avant sa mise en œuvre, l'objet d'une évaluation budgétaire, juridique et environnementale stricte

Initiatives qui permettront de rencontrer le souhait exprimé par les aînés qui veulent …

105 Ces nouvelles initiatives pilotes feront l'objet d'une évaluation

Activités organisées en exécution du projet de vie mis en place dans les maisons de repos, décret maltraitance

105 Le GW associera le personnel et les résidents en maisons de repos à l'évaluation des activités organisées en exécution du projet de vie mis en place …

121

Accessibilité géographique des soins de 106 … l'accessibilité géographique des soins de qualité à tous les Wallons par une évaluation, une programmation et une

Initiatives de « guichets uniques » d'information et d'accès à l'aide et aux soins

106 …l'accompagnement et l'évaluation des initiatives de « guichets uniques » d'information et d'accès à l'aide et aux soins

Politiques de prévention (SIDA et IST) 109 Le GW entend évaluer et le cas échéant réajuster les politiques de prévention

Possibilité de supprimer la prise en compte de l'allocation d'intégration dans les revenus …

111 Le GW veillera à évaluer la possibilité de supprimer la prise en compte de l'allocation d'intégration dans les revenus qui servent de base pour le calcul de la part des bénéficiaires pour les aides familiales

Pertinence des seuils d'accès à l'aide matérielle

111 Pertinence Le GW veillera à évaluer la pertinence des seuils d'accès à l'aide matérielle

Opportunité d'une politique de quota dans le secteur privé (embauche de personnes handicapées)

113 Pertinence Evaluer, avec le Fédéral, l'opportunité d'une politique de quota dans le secteur privé

Plan de cohésion sociale 114 Ce PCS sera évalué conformément au décret, et notamment sous l'angle de la méthodologie de construction des partenariats

Action des services sociaux de proximité 115 Le Gouvernement évaluera l'action

Dispositif des Allocations de Déménagement et Loyer (ADEL)

116 Le GW évaluera le dispositif des Allocations de Déménagement et Loyer (ADEL)

Réforme du secteur de la médiation de dettes

116 Le GW propose de procéder avec l'ensemble du secteur à une évaluation de la réforme du secteur de la médiation de dettes

Règles d’incompatibilité, de conflit d’intérêts, … qui figurent dans une multitude de législations éparses

129 Le GW proposera une évaluation, une rationalisation et une harmonisation des règles d’incompatibilité, de conflit d’intérêts,…

Renforcement du Parlement 130 Un certain nombre de modifications législatives, d’évaluations de législations et de réflexions devraient, au début de chaque session parlementaire, être réservées à l’initiative parlementaire

Normes (notamment sur base des rapports des Médiateurs)

132 Le GW s’engage à évaluer les normes notamment sur base des rapports des Médiateurs

Code de la démocratie locale 138 Le GW propose de poursuivre l’évaluation du Code de la démocratie locale et de la décentralisation

Plan prioritaire et Plan prioritaire bis 34 Evaluation, adaptation voire modification de ces plans

PFI et PFI jeunes 39 Le Gouvernement évaluera le PFI et le PFI jeunes

122

SFMQ (Service francophone des métiers et qualifications)

47 fonctionnement Ce service fera l'objet d'un pilotage rigoureux et d'une évaluation continue

MEBAR (Aide à l'investissement – Energie pour les ménages à revenus modestes)

76, 115 Le Gouvernement s’engage à réaliser une évaluation du dispositif MEBAR

Relais sociaux 116 fonctionnement Evaluation rigoureuse du fonctionnement des relais sociaux existants

Décret relatif aux incitants financiers à la formation (chèques-formation et crédit-adaptation)

45 Le Gouvernement évaluera le décret

Contrats de gestion de la SWL, SWCS et Fonds du logement

59 contrat de gestion Le GW évaluera de manière permanente les contrats de gestion de la SWL, de la SWCS et du Fonds du logement par un organisme extérieur sélectionné par marché public

Tableaux de bord prospectifs des fonctionnaires dirigeants sous mandat

134 Ces tableaux de bord permettront (…) de préparer l’évaluation prévue dans le code de la fonction publique

Procédures de recrutement et d’engagement dans la fonction publique,…

134 Le GW veillera à évaluer les procédures de recrutement et d’engagement dans la fonction publique,…

Les dispositions qui organisent les conditions d’engagement du personnel contractuel

135 Sur la base d’une évaluation, le GW pourra revoir les dispositions qui organisent les conditions d’engagement du personnel contractuel

Agents locaux (communes,…) 141 Mise en œuvre Le GW propose de veiller à l'effectivité de la mise en œuvre générale de l'évaluation des agents locaux

Réalisation du contrat de gestion et/ou du plan d’entreprise des OIP

131 contrat de gestion Evaluation de la réalisation …

Situation au niveau des statuts dans les OIP 135 Le Gouvernement donnera la priorité à l’emploi statutaire; à cet égard, il sera notamment procédé à une évaluation de la situation dans les OIP

Expériences pilotes menées en Région wallonne en matière de télétravail

136 Sur la base de l’évaluation des expériences pilotes menées en RW en matière de télétravail…

Mesures de diffusion de la recherche 53 Le GW propose …. d’évaluer les différentes mesures de diffusion existantes

Réforme du régime locatif et mode d'attribution des points

54 Le GW propose d’évaluer la réforme du régime locatif en vue d’étudier l’opportunité de l’adapter aux nécessités du secteur et d’évaluer le mode d’attribution des points, notamment en ce qui concerne « les points attribués à la « priorité communale », le mode de désignation des comités d’attribution et les règlements spécifiques

Mécanisme de financement des sociétés de logement

55 Le GW propose d’évaluer les mécanismes de financement des sociétés de logement

Possibilités d’atteindre les quotas en matière de logement de transit

55, 116 Le GW évaluera la possibilité pour plusieurs petites communes de mutualiser leurs efforts pour atteindre les quotas requis

123

AIS et APL 56 Mise en œuvre Le GW évaluera et (…) la couverture du territoire wallon par des AIS et APL

Allongement de la durée du bail 56 Opportunité Le GW évaluera l'opportunité d'allonger la durée du bail en cas d'investissement…

Opportunités d’adopter des mesures facilitant les projets d’acquisition d’un premier logement

56 Opportunité Le Gouvernement évaluera l'opportunité d'adopter les mesures suivantes afin de favoriser l'accès à l'acquisition

SWCS 57 financement Le financement de la Société wallonne du crédit social (SWCS) sera rapidement évalué.

Investissements prioritaires pour atteindre des niveaux ambitieux de performances énergétiques

58, 75 Ce guichet unique déterminera, au terme d'une évaluation préalable, les investissements prioritaires en vue d'atteindre des niveaux ambitieux de performance énergétique

Qualité des sols 61 Le GW se basera sur des indicateurs destinés à évaluer la qualité des sols…

Rôles de chacun des acteurs du secteur de l'assainissement des sols

61 Mise en œuvre Le GW entend, sur base d'une évaluation, clarifier les rôles de chacun des acteurs du secteur de l'assainissement des sols

Procédures d'information mises en œuvre relatives aux sites pollués

62 Mise en œuvre Le GW entend évaluer les procédures d'information mises en œuvre relatives aux sites pollués…

Préservation de la biodiversité ainsi que sa restauration éventuelle

66 La préservation de la biodiversité ainsi que sa restauration éventuelle doivent être évaluées dans tous les secteurs

Incidences sur l'environnement 66 Le GW veillera à améliorer la prise en compte de la nature dans l'évaluation des incidences sur l'environnement dans une optique …

Gestion des zones protégées 67 Mise en œuvre Le GW entend évaluer, rationnaliser et dynamiser la gestion des zones protégées

Procédure d'indemnisation des dégâts occasionnés par les espèces protégées

67 Le GW s’engage à évaluer la procédure d'indemnisation des dégâts occasionnés par les espèces protégées

Utilisation du bois 67 Le GW s’engage à évaluer l'utilisation du bois dans toutes ses formes

Arrêté sur les conseils cynégétiques (la chasse)

68 Le GW visera à évaluer et, le cas échéant, revoir l'arrêté sur les conseils cynégétiques

Régime de régulation de certaines espèces sauvages

68 Le GW visera à évaluer, sur base scientifique, le régime de régulation de certaines espèces sauvages

Mécanismes de solidarité existants (eau) 69 Accès à l'eau : évaluant et en adaptant les mécanismes de solidarité existants

Plan PLUIES 69 Mise en œuvre Le GW entend évaluer les procédures de gestion de crise et la coordination entre l'ensemble des services concernés et évaluer la législation sur les wateringues au

124

regard de la mise en œuvre de la directive-cadrePlan de Gestion Durable de l'Azote d'origine agricole

70 Il y a lieu d’évaluer et réviser le Plan de Gestion Durable de l'Azote d'origine agricole

Réforme instaurant une tarification progressive de l'eau

70 Le GW s’engage à évaluer la réforme instaurant une tarification progressive de l'eau

Accès et utilisation du Fonds social de l'eau 70 Le GW s’engage à évaluer l'accès et l'utilisation du Fonds social de l'eau

Missions de la SPGE au regard de la directive-cadre eau

71 Le GW veillera à évaluer et faire évoluer les missions de la SPGE au regard de la directive-cadre eau

Modalités d'application et des conditions de mise en œuvre de la norme sur les ondes

72 le Gouvernement veillera à l'évaluation des modalités d'application et des conditions de mise en œuvre de la norme

Coût et opportunité d'enfouir les lignes électriques à haute tension

72 coût/opportunité Le GW propose d'évaluer le coût et l'opportunité d'enfouir les lignes électriques à haute tension

Objectifs fixés au décret « financement du monde associatif environnemental »

73 Ce décret déterminera aussi, en ce qui concerne ce monde associatif, des modalités de gouvernance, de transparence, d'indépendance ainsi que de réalisation et d'évaluation des objectifs qui lui sont fixés

Les accords de branche (secteur industriel) 76 mise en oeuvre et efficacité

Le GW s’engage à évaluer les accords de branche

Impact tarifaire préalable (prix de l’énergie) 77 impact tarifaire Le GW propose d’appliquer le principe selon lequel toute décision susceptible d'avoir un impact sur les prix de l'énergie fait l'objet d'une évaluation d'impact tarifaire préalable

Fonctionnement du système des compteurs à budget

77, 115 mise en œuvre Le GW propose d’évaluer le fonctionnement du système des compteurs à budget

Action des tuteurs en énergie 78, 115 Le GW propose d’évaluer (…) l'action des tuteurs en énergie mis à disposition par les CPAS pour aider les ménages les plus précarisés

Fixation des nouveaux quotas (électricité renouvelable)

78 La fixation sera calculée sur base des recommandations de la CWaPE, avec une évaluation intermédiaire en 2014

CWATUPE 79, 80 79 : Evaluation du Code wallon de l'Aménagement du Territoire, de l'Urbanisme et du Patrimoine 80 : Le GW s’engage à organiser, dès le début de la législature, une évaluation du CWATUPe

Réflexion sur la répartition des rôles entre les autorités communales et régionales

81 Opportunité Evaluer l'opportunité de la mise en œuvre de la délégation aux recours

Critères et procédure de sélection des projets et des communes (espace rural de qualité)

82 mise en œuvre Evaluation des projets et des communes bénéficiaires doit être objectivée …

125

Règlements généraux sur les bâtisses en site rural (RGBSR)

83 Le GW s’engage à évaluer les Règlements généraux sur les bâtisses en site rural (RGBSR)

Prix des terres et des biens agricoles 86 Le GW proposera un système d'évaluation des prix des terres et des biens agricoles

Régime et services offerts par le remembrement

86 Le régime et les services offerts par le remembrement seront évalués à brève échéance

Plan stratégique de développement de l'agriculture biologique

86 le GW propose d'établir un plan stratégique de développement de l'agriculture biologique à l'horizon 2020, avec une première évaluation en 2014

Programme de recherche du CRA-W 87 Le GW entend réévaluer le programme de recherche du Centre wallon de recherches agronomiques (CRA-W)

Pertinence socio-économique et éthique des OGM

87 Pertinence Le GW s'engage à mettre en place (…) un dispositif d'évaluation de la pertinence socio-économique et éthique des OGM

Mécanismes de protection des nappes d'eau souterraines et de surface

88 Le GW procèdera (…) à l'évaluation des mécanismes de protection des nappes d'eau souterraines et de surface

Réforme du certificat de patrimoine 90 Le GW évaluera la réforme du certificat de patrimoine

Rôles de chacun des acteurs du patrimoine 91 mise en œuvre Sur base d'une évaluation, le GW veillera à clarifier les rôles de chacun des acteurs du patrimoine

Système d'échange des plaques d'immatriculation

95 Le GW propose d'évaluer le système d'échange des plaques d'immatriculation

Plan d'Exposition au Bruit 100 Le GW s’engage à évaluer, et le cas échéant réviser, le Plan d'Exposition au Bruit

Centres de vacances 102 Le GW poursuivra, après évaluation (…) le renforcement des centres de vacances

Méthode de calcul de l'octroi des contingents des aides familiales et les barèmes appliqués

104 Le GW s’engage à évaluer la méthode de calcul de l'octroi des contingents des aides familiales et les barèmes appliqués

Qualité des mesures prises en rapport avec le secteur des centres de planning

106 Evaluation des mesures prises en rapport avec le secteur des centres de planning

Enjeux et nécessités en matière de grande dépendance

112 Besoins Réaliser un cadastre via l'AWIPH en collaboration avec les services des besoins en matière de grande dépendance, afin

Jobcoaching des personnes en situation de handicap

113 …en renforçant et en évaluant le jobcoaching des personnes en situation de handicap

Evolution budgétaire du Fonds Spécial de l'Aide Sociale

115 budgétaire Le GW évaluera l'évolution budgétaire du Fonds Spécial de l'Aide Sociale (FSAS)

126

Dispositifs d'aides e-business 120 Le GW s’engage à évaluer les dispositifs d'aides e-business

Fusion du Commissariat Général aux Relations Internationales de la Fédération Wallonie-Bruxelles et de la Division des Relations …

124 mise en œuvre Le GW s'engage à procéder à une évaluation de la mise en œuvre de la fusion

(Solidarité internationale) Liste de 12 pays prioritaires du Sud

128 Le Parlement sera associé le cas échéant à l'évaluation et aux décisions portant sur l'évolution de cette liste

Collaboration CPAS - FOREM 114 mise en œuvre Intensifier, après évaluation, les collaborations entre les CPAS et le FOREM

Source : IWEPS

Annexe 9 : Cellules de l’administration centrale qui ont des activités d’évaluation parmi leurs missions

Direction Générale Cellule Missions en lien avec l’évaluationSecrétariat Général Cellule stratégies transversales

(avec un délégué spécial)Suivi des évaluations relatives au plan Marshall

Secrétariat Général Direction interdépartementale de la Cohésion sociale

La DiCS impulse, accompagne et évalue des plans d'action soutenus par plusieurs départements, parmi lesquels le Plan de cohésion sociale, le Plan HP, l'accueil concerté des Gens du Voyage, le Plan d'action relatif aux droits de l'enfant, Eté solidaire, je suis partenaire ...

Secrétariat Général Département de la Coordination des Fonds structurels

La Direction de l'Animation et de l'Evaluation des programmes « Fonds Structurels » assure le suivi du processus d'évaluation des programmes européens.

DGO 1 Département de la Stratégie routière

Direction des Impacts économiques et environnementaux routiers réalise des études multicritères pour investissements ainsi que d'études à caractère socio-économique et environnemental.

DGO1 Département de la Sécurité, du Trafic et de la Télématique routière

Direction de la Sécurité des infrastructures routières réalise des études, recensements, comptages et analyses statistiques qui permettent de proposer des aménagements de voiries et des plans de mobilité routière.

DGO 2 Département des Études et de l'Appui à la gestion

Réalisation d’études

DGO2 Département de la Stratégie de la mobilité

Réalisation d’études

DGO 3 Direction des Programmes européens

Suivi des évaluations des programmes européens de développement rural

DGO4 Direction des Etudes et de la Qualité du Logement

Réalisation d’études

127

DGO4 Direction de l'Aménagement régional

Suivi d’évaluations (ex : suivi et mise en place de la procédure d’évaluation du SDER)

DGO 5 Département de la Législation des pouvoirs locaux et de la Prospective

Évaluation de l’exercice de la tutelle régionale sur les pouvoirs locaux et évaluation du mécanisme de répartition du fonds des communes en matièrede financement général des communes

DGO6 Département de la Compétitivité et de l'Innovation

Améliorer la gouvernance administrative des processus d'octroi d'incitants financiers aux entreprises en mettant en place des dispositifs d'évaluation ad hoc conformes aux standards européens.

Source : portail de Wallonie. http://www.wallonie.be/

Annexe 10 : Les acteurs privés de l’évaluation en Wallonie

les cabinets de conseil plus ou moins spécialisé dans le secteur public : − Perspective consulting− See policies− ADE− Sonecom− COMASE− Idea consult− Van Dijk Management Consultants

Consultants spécialisés dans un secteur d’activité spécifique :− Rdc environment− Ramboll management devenu Effisciences (expert en matière de santé)− Cabinet d’avocats Bours & associés (expert en matière juridique) : en tant que collaborateur

Big four : − Deloitte Consulting− Ernst & Young (E&Y)− KPMG− PricewaterhouseCoopers (PwC)

Annexe 11 : Les centres de recherche qui effectuent des travaux d’évaluation

128

UCL− Centre d'études en aménagement du territoire (CREAT) − IRES − Cerisis

ULG− Spiral− Centre de Recherches et d’interventions sociologiques (CRIS) (plan Marshall) − Gembloux Agro Tech − HEC : Unité de recherches en évaluation économique de l’innovation médicale (EMIR)

ULB− Solvay : Centre Emile Bernheim (CEB)− Institut d’urbanisme et d’aménagement du territoire− DULBEA. Département d’Économie Appliquée de l’Université Libre de Bruxelles

Maastricht− MERIT

Centre de recherche non attaché à une université− Fondation Travail-Université (FTU)

Annexe 12 : Les activités de la SWEP liées à l’évaluation 345

Types d’activités Année SujetPetits déjeuners 2001 Evaluation et décentralisation de l'action publique

L'évaluation du Parcours d'insertion (1)L'évaluation du Contrat d'Avenir pour la WallonieL'évaluation du Parcours d'insertion (2)

2002 Positionnement quant au futur décret de la Région Wallonne sur l'IWEPSEvaluation des politiques publiques en BelgiqueEthique et Evaluation

2003 La création de l'IWEPSL’évaluation et la prospective dans le cadre de la stratégie fédérale de développement durableLa Politique d'assainissement des friches

2004 Evaluabilité du contrat de gestion entre la Région wallonne et le Groupe TEC/SRWTEvaluation du Plan Wallon d'Insertion Formation

345 Les activités liées à la Prospective ne sont pas reprises ici.

129

2005 Leçons d’une analyse du système d’intermédiation scientifique et technologique en région wallonneOrganisme public et évaluation stratégique : mythe ou réalité ?

2006 Comprendre et gouverner le développementQuelques réflexions sur l’évaluation de l’enseignement en Communauté française

2007 L'évaluation à mi-parcours du plan MarshallL'anticipation des compétences métiersLes pôles de compétitivité, premier bilan.

2008 L’évaluation en Afrique et dans le monde, retour d’expérience de Madame Oumoul Ba TallLes aides à la promotion de l’emploi en région wallonne

2009 L’Institut wallon de l’évaluation, de la prospective et de la statistique : quel rôle et quelles garanties de qualité ?Comment garder le CAP ? Premières leçons d'une expérience de pilotage stratégique à la Province de Namur.L'évaluation ex-ante de l'impact des décisions du conseil des ministres sur le développement durable

2010 La formation en évaluation des politiques publiques, Présentation du certificat interuniversitaireIndicateurs, objectifs et visions. Le Rapport fédéral 2009 sur le développement durable

2011 Evaluation de la politique criminelle en matière de violence dans le coupleLe processus d'évaluation de la coopération au développement, le point de vue du prescripteur et le point de vue de l'évaluateur.

2012 /Conférences 2005 Conférence de M. Richard Marceau, président de la Société québécoise d’Evaluation de Programmes (SQEP),

2007 Conférence de B. Perret. Les effets de l'institutionnalisation de l'évaluation.2011 Conférence de B. Perret. Vers une institutionnalisation de l'évaluation des politiques publiques en Wallonie ?2012 Conférence de P. Defeyt. Le coût de la non-évaluation d’une politique publique

Séminaires 2007 Organisation Interne et cohérence externe2010 L'évaluation d'impact dans le contexte de la Coopération au développement2011 L’analyse des impacts et des résultats : quelle est la plus value et la place des approches qualitatives?

Ateliers 2008-2010 Cycle d’ateliers : « L'évaluation et la prospective en appui à la gouvernance et à la gestion publique » (9 ateliers organisés)2012 Cycle « Élections communales et provinciales d’octobre 2012 : s’engager pour améliorer la gouvernance des pouvoirs locaux

par l’évaluation et la prospective » (3 ateliers organisés jusqu’à présent)Colloques 2002 Évaluer pour progresser

2007 Indicateurs et politiques publiquesSource : http://www.la-swep.be

130

Annexe 13 : Publications, conférences et colloques dédiés à l’évaluation des politiques publiques

Année Types d’activités, de documents

Titre

1993 Conseil informel Conseil informel « Politique régionale et aménagement du territoire » consacré à la problématique de l’évaluation.1995 Article Leurquin-de Visscher F., « Pour une évaluation législative », Revue belge de droit constitutionnel, n° 3, 1995, 275-287. 1995 Working paper 45. Van der Linden Bruno, 1995. "Indemnisation et fréquence de sortie du chômage : un essai d'évaluation pour la

Belgique," Discussion Papers (IRES - Institut de Recherches Economiques et Sociales) 1996001, Université catholique de Louvain, Institut de Recherches Economiques et Sociales (IRES).

1998 Congrès Institut Destrée « La Wallonie au Futur ». L’évaluation est présentée, aux côtés de la prospective et de la contractualisation, comme un outil innovant de gouvernance.

1999 Contribution à un ouvrage collectif

Leurquin-de Visscher F., « Pertinence et praticabilité des procédures d’évaluation des lois en droit belge » in Jadot B. et Ost F., Élaborer loi aujourd’hui, mission impossible ?, Publication des facultés universitaires Saint-Louis, Bruxelles, 1999.

1999 Rapport de recherche BOUCKAERT, A. FRANCOIS (e.a.), Modernisation de l’administration : les questions de recherche. Efficacité, effectivité et légitimité des politiques publiques, Bruxelles, SSTC, 1999.

2000 Revue Pyramides n°1 Thème : Vers une évaluation des politiques publiques en BelgiquesColloque Evaluer les politiques publiques. Regards croisés sur la Belgique, Bruxelles.

2001 Ouvrage Destate P. (dir.), Evaluation, prospective et développement régional, Charleroi, Institut Jules Destrée, 2001Ouvrage de Visscher C. et Varone F. (eds.), Evaluer les politiques publiques. Regards croisés sur la Belgique, Academia-Bruylant,

Louvain-La-Neuve, 2002Rapport de recherche Jacob S. et Varone F. (1), L’évaluation des politiques publiques au niveau fédéral : état des lieux et perspectives,

Résultats d’une enquête réalisée dans le cadre du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2001. - Publié également sous forme d’un article dans la revue Administration publique

Article Jacob S. et Varone F., "L'évaluation des politiques publiques en Belgique: état des lieux au niveau fédéral", Administration publique, 25(2), 2001, pp. 119-129.

2002 Rapport de recherche Jacob S. et Varone F., L’évaluation au concret en Belgique, Deuxième rapport intermédiaire du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2002. - Publié également sous forme d’un article au CRISP

Rapport de recherche Jacob S. et Varone F., L’institutionnalisation de l’évaluation des politiques : expériences étrangères et scénarios pour la Belgique, Troisième rapport intermédiaire du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2002.

Article Jacob S. et Varone F., « L'évaluation des politiques publiques en Belgique: six études de cas au niveau fédéral", Courrier hebdomadaire du CRISP, n° 1764-1765, 2002.

Contribution à un ouvrage collectif

Jacob S. et Varone F., "L'évaluation des politiques culturelles en Communauté française: pourquoi, comment et où?", Culture et citoyenneté. Pour un développement culturel durable, Bruxelles, 2002, pp. 486-488.

131

Journée d’étude Jacob S. (2002), "L'expertise par l'évaluation et/ou l'évaluation par les experts: réflexion sur des enjeux croises", Journée d'étude du Réseau État et Sciences Sociales (FNRS): "Vers un État réflexif? L'appel à l'expert", 27 mai.

Journée parlementaire Journée parlementaire consacrée à l’évaluation et à la prospective organisée à l’initiative du groupe Écolo du parlement wallon (13 avril 2002)

2003 Ouvrage Jacob S. et F. Varone (2003), Évaluer l'action publique: état des lieux et perspectives en Belgique, Gand: Academia Press.

Rapport de recherche Jacob S., Schiffino N. et F. Varone (2003), Régulation des OGM en Belgique: quelle stratégie d'évaluation?, inédit, janvier, 24 p.

Intervention dans un colloque

Varone F. et S. Jacob (2003), "L'évaluation des politiques publiques en Belgique", communication présentée lors du colloque organisé par l'UCL et la KUL et intitulé De la réforme à la modernisation de l'administration publique, Bruxelles, 15 mai.

Intervention dans un colloque

Varone F. et S. Jacob (2003), "L'évaluation des politiques publiques en Belgique: état des lieux et perspectives", communication présentée lors du colloque organisé par la VUB intitulé Guidance des processus de changements. La réforme de la fonction publique fédérale, Bruxelles, 3 juin.

Intervention dans un colloque

Jacob S. et F. Varone (2003), "L'évaluation des dispositifs au sein de la ville", communication présentée lors du colloque organisé par le Gouverneur de Bruxelles-capitale et intitulé Sécurité et urbanité en Région de Bruxelles-capitale, Bruxelles, 17 mars.

Intervention lors de journées d’étude

Bernard Conter, Christine Mainguet, Olivier Plasman, « Systèmes de suivi longitudinal des demandeurs d’emploi ayant participé à une formation en Wallonie. État des lieux et propositions », 10ème Journées d’études Céreq – Lasmas-IdL, Caen, 21, 22 et 23 mai 2003.

2004 Contribution à un ouvrage collectif

Jacob S. et F. Varone (2004), "Evaluation Practice Around the World: Belgium", in S. Mathison (dir.), Encyclopedia of Evaluation, Thousand Oaks: Sage, pp. 174-175.

Article Jacob S. et F. Varone (2004), "Cheminement institutionnel de l’évaluation des politiques publiques en France, en Suisse et aux Pays-Bas (1970-2003)", Politiques et Management Public, 22 (2): pp. 135-152.

Article Varone F. et S. Jacob (2004), "Institutionnalisation de l’évaluation et Nouvelle Gestion Publique: un état des lieux comparatif", Revue Internationale de Politique Comparée, 11(2): pp. 271-292.

Article Jacob S., « L’institutionnalisation de l’évaluation des politiques publiques en Belgique: entre balbutiements et incantations », Res Publica, n°4, 2004, pp. 512-534.

2005 Ouvrage Jacob S., Institutionnaliser l’évaluation des politiques publiques. Étude comparée des dispositifs en Belgique, en France, en Suisse et aux Pays-Bas, Peter Lang, Bruxelles, 2005.

Article Jacob S., « La volonté des acteurs et le poids des structures dans l’institutionnalisation de l’évaluation des politiques publique », Revue française de science politique, Vol. 55, n° 5-6, 2005, pp. 835-864.

Article Jacob S. (2005), « Réflexions autour d’une typologie des dispositifs institutionnels d’évaluation », in Revue canadienne d’évaluation de programme, vol. 20, n° 2, pp. 49-68.

Article Jacob S. et Varone F. (6), « Polity, Politics and Policy Evaluation in Belgium », Evaluation, Vol. 11, n°3, 2005, pp. 253-273.

132

Article Jacob S. et N. Schiffino (2005), "Évaluation et démocratie dans les politiques du risque", article et co-direction d’un dossier Politique et Sociétés (à paraître).

2006 Contribution à un ouvrage collectif

Dejemeppe M. et Van Der Linden B., « L’évaluation de l’efficacité des politiques d’emploi : ce qu’il faut et ne faut pas faire ! », in Hanin B et Lemaitre J-P (éd.), Le Plan d’actions prioritaires de la Région Wallonne, Presses Universitaires de Louvain, 2006, pp. 69-76.

2007 Ouvrage Jacob S., Varone F. et Genard J-L. (dir.), L’évaluation des politiques au niveau régional, Peter Lang, Bruxelles, 2007.Contribution à un ouvrage collectif

Jansen C et Ruyters C., « L'évaluation d'un dispositif de lutte contre l'exclusion et de promotion de la cohésion sociale en Wallonie : le Plan HP », in Laffut M. et al., Pauvreté et exclusion sociale, de boeck, 2007, pp. 255-279.

2008 Article Blairon Jean, « L'évaluation du Dispositif Intégré d'Insertion Socio-Professionnelle (DIISP). Des questions à se poser – puisque personne ne les pose? », Intermag, 2008, pp. 1-7.

2009 Article Béatrice Van Haeperen et al., « Plan Marshall wallon : une évaluation ex ante en référence à la politique industrielle et d’innovation », Reflets et perspectives de la vie économique, Vol. 1, 2009, pp. 161-177.

Intervention lors d’un Colloque

Vincent Lepage, « L’évaluation externe comme outil de pilotage de la politique de clustering : leçons tirées de 5 années de pratique en Région Wallonne », Lège, 2 et 3 mars 2009.

2010 Journée d’étude Deuxième Conférence méthodologique de l’IWEPS : Évaluation des politiques publiques : méthodes et applications (7 décembre).

2011 Revue : Reflets et perspectives de la vie économique

Thème : L’évaluation des politiques publiques (dans la foulée de la conférence du 7/12/2010)

Discussion Paper Bart COCKX, Muriel DEJEMEPPE & Bruno VAN DER LINDEN, 2011. "L’activation du comportement de recherche favorise-t-elle un retour plus rapide à l’emploi ?," Discussion Papers (IRES - Institut de Recherches Economiques et Sociales) 85, Université catholique de Louvain, Institut de Recherches Economiques et Sociales (IRES).

Conférence Discrimination sur le Marché de l’Emploi: Approches et méthodes d’évaluation (13/12/2011)2012 Table ronde GRAP, Management et évaluation des politiques publiques

Colloque Colloque organisé par écolo : Piloter les politiques publiques à Bruxelles. Évaluation démocratique et indicateurs alternatifs. 28 mars 2012 Bruxelles.

Quelques interventions au niveau international (quelques exemples)

Destatte P., « La coopération interculturelle et internationale en évaluation, champs privilégiés et offres de la SWEP », Table ronde sur la cadre de collaboration pour les organisations nationales en évaluation, organisée au Congrès 2000 de la Société canadienne d'Evaluation et de la Société québécoise d'Evaluation de Programme, Evaluation et nouvelle gouvernance, Montréal, 14-17 mai 2000.

Destatte P., « La nouvelle gouvernance en Wallonie : les parties prenantes au cœur même de la conception de l'évaluation », Quatrièmes journées françaises de l'évaluation, Lille, 5 juin 2002.

133

Jacob S. et F. Varone (2002), « L'évaluation des politiques publiques: analyse comparée de son institutionnalisation» , Conférence internationale spécialisée de l'Institut international des sciences administratives (IISA): 'Vers une gouvernance de qualité pour un développement durable', New Delhi, 5 au 9 novembre.

Cécilia De Decker, Jean-Louis Dethier and Michaël Van Cutsem, « Paper Proposal: Learning from evaluation and enhancing evaluation capacity: under which conditions? Lessons drawn from three case studies in Wallonia », 5th Biennal Conference of the European Evaluation Society (EES): 'Three movements in Contemporary Evaluation: Learning, Theory and Evidence', Séville, 10 au 12 octobre 2002 Jacob S. et F. Varone (2002), « Institutionalizing Policy Evaluation: A Cross-Comparison of 24 democracies », 5th Biennal Conference of the European Evaluation Society (EES): 'Three movements in Contemporary Evaluation: Learning, Theory and Evidence', Séville, 10 au 12 octobre 2002.

Jacob S. et F. Varone (2003), "Les processus d’institutionnalisation de l’évaluation des politiques publiques (1970-2003): analyse comparée de la France, de la Suisse et des Pays-Bas", Colloque international de la Revue Politiques et Management Public, 24-25 novembre 2003, Strasbourg.

134

Annexe 14 : La Wallonie dans deux classements internationaux

Institutionnalisation (Jacob-Varone) Maturité(Furubo-Rist)

Instances d’évaluation

/ / L’évaluation est répandue dans de nombreux secteurs de pp 2/2

Instances d’évaluation auprès de l’exécu-tif

2/2 Degré d’institutionnalisation – Gouvernement 1/2

Instances d’évaluation auprès du législatif 0/2 Degré d’institutionnalisation – Parlement 0/2

Pratique de l’évaluation au sein de la Cour des comptes

2/2 Pratique de l’évaluation au sein de la Cour des comptes 2/2

RèglesForum

Pratiques

Société d’évaluation 1/1 Offre d’évaluateurs pluridisciplinaires 1/2

Revue scientifique 0/1 Organisation professionnelle 2/2

Standards de qualité 0/1 Discours concernant l’évaluation 2/2

Pluralisme des évaluations et des évaluateurs 1/2

Prise en compte par l’évaluation des effets et de la mise en œuvre des pp

1/2

Total 5/9 12/18

Source : Jacob S. et Varone F. (3), L’institutionnalisation de l’évaluation des politiques : expériences étrangères et scénarios pour la Belgique, Troisième rapport intermédiaire du projet de recherche AM/10/016 financé par les SSTC et intitulé « L’évaluation des politiques publiques en Belgique », 2002  ; Furubo J-E and Rist R., « A diffusion Perspective on Global Developments in Evaluation », in Furubo J-E, Rist R. C., Sandhal R., International Atlas of evaluation, Transaction Publishers, New Brunswick, 2002, pp. 1-23.

135

136

Annexe 15 : Les principes, outils et actions du New Public Management (NPM)

137

138

Les différentes actions s’inscrivant dans le champ du NPM

139

Annexe 16 : Crise de légitimité en Wallonie ? Quelques chiffres

Satisfaction à l’égard du fonctionnement de la démocratie en Wallonie (1999)

Source : Schiffino N. et Aish A-M., « La démocratie en Wallonie : une analyse de la satisfaction de l'électorat wallon à l’égard de la démocratie et de la politique », dans Aish A-M. et Frognier A-P, Elections la rupture ? Le comportement des Belges face aux élections de 1999, de Boeck Université, Bruxelles, 2003, p. 97.

Satisfaction à l’égard de la façon dont la politique est faite en Belgique en Wallonie (1999)

Source : Schiffino N. et Aish A-M., « La démocratie en Wallonie : une analyse de la satisfaction de l'électorat wallon à l’égard de la démocratie et de la politique », dans Aish A-M. et Frognier A-P, Elections la rupture ? Le comportement des Belges face aux élections de 1999, de Boeck Université, Bruxelles, 2003, p. 97.

140