THEMA :L’évaluation des

politiques publiques

Observatoire de l’Enfance, de la Jeunesse et de l’Aide à la Jeunesse – 23 septembre 2011

Introduction

• Démarche bibliographique• Principes méthodologiques généraux• Utiles aux praticiens

Plan1. Définition2. L’évaluation comme connaissance3. Les composants de l’évaluation :

3.1 Objet 3.2 Acteurs 3.3 Finalités 3.4 Méthodes

4. Méthodes et techniques5. Impact et valorisation de l’évaluation

1. Définition• « L’évaluation d’une politique publique a pour objet

d’apprécier l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre. »

• Aspect normatif et visées opérationnelles• Démarche, processus• Institutionnel• Soutenu par des exigences et valeurs : rigueur, impartialité,

transparence, pluralisme, prévalence de l’intérêt général

Difficiles à mesurer !

Flous et contradictoires ! + réticences des

pouvoirs à se soumettre à ce qui

apparaît comme une forme de jugement

Processus évaluatif

REFERENTIEL

= Ensemble de critères opératoires et

politiquement légitimes de l’efficacité / réussite

QUESTIONS

Réponses

Outils/méthodes

2. L’évaluation comme connaissance

• Entre rigueur scientifique et considérations politiques

• Évaluation récapitulative vs. formative• Au croisement des modèles scientifiques,

professionnels et institutionnels

3. Composants d’une évaluation

• 3.1 Objet• 3.2 Acteurs• 3.3 Finalités• 3.4 Méthodes

3.1 Objet

• Diversité des objets à évaluer : natures, domaines, champs géographiques, …

• Identifier le champ de l’évaluation• Logique interne de la politique • Identifier et ordonner les objectifs de la politique

Objectifs officiels et non-officiels

3.2 Acteurs

• Diversité des acteurs : décideurs politiques, experts, parties prenantes, administrations, évaluateurs, …

COMMANDITAIRE

Evaluateur Evalués

Quelle participation

?

MandatComité

de pilotage

3.2 Acteurs (2)

• Évaluation interne ou externe• Évaluateur personnifié ou collectif

3.3 Finalités• éviter l’institutionnalisation de mesures

inadéquates ;• améliorer l’efficacité des services• mieux prendre en compte les attentes et intérêt

de la population• améliorer l’adéquation de la politique à son

contexte• quantifier les résultats • améliorer l’allocation des ressources• responsabiliser les acteurs (accountability)

3.4 Méthodes

• 2 niveaux de méthodes : Méthode « processus » l’évaluation comme

DEMARCHE Méthode « outils » : cf. 4. Méthodes et techniques

• Nécessité de planifier le déroulement de l’évaluation

Déroulement chronologique d’une évaluation

Évaluer, c’est questionner

• Angles de vue :

PertinencePertinence (problème/objectif) CohérenceCohérence (problèmes/objectifs) EfficacitéEfficacité (objectifs/effets) EfficienceEfficience (effets/moyens) Impact systémiqueImpact systémique (outputs/outcomes)

Évaluer, c’est questionner (2)

• Liste de questions • Etapes interrogées :

• Mise en œuvre• Atteinte des objectifs et indicateurs de résultats• Mesure des « effets propres »• Mécanismes d’action• Interaction entre la politique et son contexte

Liens entre angles de vue et étapes questionnées

9

OBJETS ET CRITERES D'EVALUATION

Source: Knoepfel et al. 2001 : 272 ; publié dans Knoepfel et Varone 1999

Définition politique du problème public (DP)

Programme politico-administratif (PPA) et Arrangement politico-administratif (APA)

Elaboration des plans d’action (PA)

Actes de mise en œuvre (OUTPUTS): produits administratifs

OUTCOMES auprès des groupes-cibles (hypothèse d’intervention)

IMPACTS auprès des bénéficiaires finaux (hypothèse causale)

Problème social à résoudre

Objectifs, éléments évaluatifs

Eléments opérationnels Eléments procéduraux Ressources

Efficacité (3) Efficience allocative (4)

Efficience productive (5)

Pertinence (1)

Effectivité (2)

Évaluer, c’est questionner (3)

• Diagnostic préalable• Bilan informationnel

4. Méthodes et techniques

• A. Techniques de collecte• B. Techniques de présentation des données• C. Méthodes d’établissement de liens de causalité

• L’expérimentation et les dispositifs quasi-expérimentaux

• D. Techniques de jugement

5. Impact et valorisation de l’évaluation

• Mise en forme et communication des résultats

Impacts variables :Impacts variables :• Ex ante, ex post ou concomitante• Impacts directs difficiles à évaluer• Apprentissage organisationnel• Liens avec concept de gouvernance

Tableau synthétique : élaboration d’un dispositif d’évaluation d’une politique

Tableau synthétique : élaboration d’un dispositif d’évaluation d’une politique

Références bibliographiques• PERRET Bernard, L’évaluation des politiques publiques,

2ème éd., Paris : La Découverte, 2008.• De COOREBYTER Vincent, Note de synthèse sur

l’évaluation des politiques publiques, CRISP, sept.-nov. 2002.

• KNOEPFEL Peter, LARRUE Corinne et VARONE Frédéric, Analyse et pilotage des politiques publiques, 2ème éd., Zurich : Verlag Rüegger, 2006.

• AUBIN David, Evaluation des politiques publiques, support de cours, 2010-2011.