Eval PP_Séance 2_01.02.2012

5/16/2018 Eval PP_S ance 2_01.02.2012 - slidepdf.com

http://slidepdf.com/reader/full/eval-ppseance-201022012 1/25

L’évaluation de politiques publiques dans leschamps sanitaire et médico-social

Enseignement – 1er semestre 2012Séance 2 : genèse, développement et acteurs clefs

Gaëlle de Carmantrand

William Bottaro



EQR Conseil

2L’évaluation des politiques publiques dans les champs sanitaire et social – Enseignement – Gaëlle de Carmantrand & William Bottaro

Sommaire séance 2

1. Genèse et diffusion de l’évaluation

2. Développement et limites en France

3. Panorama des principaux acteurs et pratiques

1. Principaux acteurs et pratiques au sein de l’Etat => intervention de M. de Loisy,

Délégué à l’évaluation Ministère des finances

2. Principaux acteurs et pratiques au niveau des collectivités

2



EQR Conseil


1. Genèse et diffusionUne pratique d’origine anglo-saxonne née dans les années 60

Genèse de l’évaluation aux Etats-Unis dès les années 20, puis aprèsguerre

Evaluation des programmes sociaux engagés par Johnson (programmes scolairesnotamment)

Puis dans les années 60 : évolution vers outil de contrôle et optimisation de la dépense(PPBS – Planning Programing Budgeting System, ancêtre de la RCB en France)

Promotion d’une démarche scientifique et formelle

Méthode dite de l’expérimentation – analyses contrefactuelles et comparaisonéchantillon bénéficiaires / non bénéficiaire, protocole et suivi de cohorte

Évaluation quasi-exclusivement quantitative

Méthode rigoureuse mais couteuse et longue => incompatible avec le temps politique

et pas toujours optimale pour l’analyse de la pertinence, la mise en œuvre et l’efficacitéd’une politique

Une avancée qui perdure Diversité des techniques et importance de la recherche en évaluation

Vitalité du milieu professionnel

Influence de l’évaluation dans la décision publique

3



EQR Conseil


1. Genèse et diffusionUn développement en Europe dans les années 60

Développement en Europe, notamment au Royaume Uni et dans lespays scandinaves

1ere vague dans les 60’s favorisée par des gouvernements de social-démocratie et ledéveloppement des sciences sociales

2ème vague dans les 80’s autour du New Public Management et l’arrivée de

gouvernements plus conservateurs (Reagan, Thatcher)

- Nouvelle pratique liée à la rationalisation de l’action publique et au principed’application des méthodes du privé au public

- Agencisation, externalisation, contractualisation entre l’Etat et les établissements

publics / sous tutelle

- Mesure de la performance : quantification des objectifs, indicateurs deperformance,

- Développement des obligations de rendre compte, tentative de rémunération aumérite

- Evaluation régulière sous forme de « comptes rendus » aux autorités centrales

Diffusion dans les autres pays notamment sous l’impulsion de la

Commission européenne4



EQR Conseil


1. Genèse et diffusionDes pratiques impulsées et / ou imposées par la Commission Européenne

Développement précoce à la Commission dès les 60’s, puis diffusion : via les fonds structurels dans les années 90 Puis sur tous les programmes communautaires dans les années 2000

Une obligation depuis 1994 La Commission rend obligatoire l’évaluation des programmes et projets bénéficiant d’un

financement européen.

L’action communautaire devra faire l’objet d’une « évaluation ex-ante et ex-post destinéà apprécier son impact »

L’ensemble des fonds structurels européens gérés par les régions européennes estsoumis à l’évaluation.

2010 (Commission Barroso) : volonté de soumettre systématiquement

les lois européennes à des évaluations

5



EQR Conseil


1. Genèse et diffusionDes pratiques impulsées et / ou imposées par la Commission Européenne

Des moyens budgétaires conséquents : Unité évaluation dans chaque DG, Unité transversale DG Budget

Budgets dédiés à l’évaluation dans chaque programme (budget moyen de 45 M€)

Des méthodes et des outils : développement fin des années 90 d’un

corpus pédagogique participant à la professionnalisation des approches

Types d’évaluation : Études impact Evaluation ex ante Evaluation in itinere

Evaluation ex post

6



EQR Conseil


1. Genèse et diffusionLe rôle de la Banque mondiale

Rôle clef de la Banque mondiale dans l’évaluation de l’aide audéveloppement dès les 70’s avec la création d’une fonction évaluation

Différents types d’évaluation Evaluation de projets Etudes transversales (ex. gender impact)

Evaluation des programmes- pays Evaluations de politiques d’aide au niveau transnational

Influence sur de nombreux bailleurs de fonds internationaux Mise en place de cellules évaluation au PNUD, Unesco, FMI…

En France : aide au développement est un des domaines les plus avancé en matière

d’évaluation - Pratique d’évaluations impulsées par la Direction du Trésor, l’AFD, le MAE

Méthode large englobant approches sociales, environnementales,humaines du développement

7



EQR Conseil


2. Développement et limites en FranceUn démarrage tardif

Origines historique et culturelle Héritage monarchique: l’intérêt général n’est pas une construction collective. L’Etat ne

saurait faillir, il n’a pas à être évaluer

Importance des producteurs de connaissance au sein de l’Etat => peu de contre pouvoir

par les sciences sociales

Usage extensif et non contrôlé du mot évaluation contribue à une mauvaise image

L’évaluation individuelle vécue comme une notation/sanction, issue du monde scolaire,

persiste.

Manque d’intérêt des contribuables / citoyens pour le contrôle des dépenses publiques

8



EQR Conseil


2. Développement et limites en FranceDe la rationalisation des choix budgétaires à l’évaluation

9

Quelques dates clefs du développement de l’évaluation en France

RCB

1970 1980 1990 2000 2010

1989RapportViveret

2009 : inscriptionde l’évaluation dans

la constitution

2000circulaire

Jospin

1990décret

Rocard

LOLF et RGPPInstitutionnalisation

2007

RGPP

2007Création d’un

secrétariatEtat



EQR Conseil


2. Développement et limites en FranceDe la rationalisation des choix budgétaires à l’évaluation

Rationalisation des choix budgétaires (RCB) en 1970 Vise à développer la planification budgétaire et l’évaluation ex-ante

- Restructurer le budget sous forme d’un ensemble de programmes d’action

- Fonder les décisions de dépense sur une prévision de leurs impacts socio-économiques

Echec de la RCB en 1984 dû au décalage entre une volonté de planification desdépenses et une gestion conjoncturelle du budget de l’Etat

Fin des années 1980 : impulsion forte sous le gouvernement Rocard 1986 : Rôle du Club Cambon et de l'association Service Public, dont le président est

Patrick Viveret, pour une reconnaissance de la nécessité de l'évaluation relative ausecteur public

Influence du Rapport Viveret en 1989 (L’évaluation des politiques publiques,

propositions en vue de l’évaluation du RMI)

Promotion des évaluations ex-post

Introduction des principes de base : indépendance, rigueur, pluralisme et

transparence 10


http://slidepdf.com/reader/full/eval-ppseance-201022012 11/25EQR Conseil


2. Développement et limites en FranceTentatives d’institutionnalisation et balbutiements

Années 90 : création d’instances interministérielles Décret Rocard en 1990 : texte fondateur

- définit l'évaluation sur un plan institutionnel et organise un dispositif national

- Création du Conseil Scientifique de l'Evaluation (CSE), du Fonds national de développement del'évaluation (FNDE) et du Comité Interministériel de l'évaluation (CIME)

- Animation par le Commissariat général au Plan

1990-1998: une quinzaine d’évaluations de grande ampleur sont menées à bien, maisleurs suites décisionnelles directes sont faibles Enlisement administratif de laprocédure : durée excessive et désintérêt des politiques

• 1998 : face à l’échec de la CIME, l’évaluation est confiée à une structure indépendante:le Conseil National de l’Evaluation (CNE), chargé de mettre en place une procédureinterministérielle d'évaluation des politiques publiques plus simple, plus efficace et plusrapide.

• Production d’une vingtaine de rapports jusqu’en 2003. A permis une meilleureinformation des citoyens mais a, en pratique, eu peu d’impact sur la décision politique

• CNE abrogé en 2002

11




2. Développement et limites en FranceTentatives d’institutionnalisation et balbutiements

Années 90’s : Renforcement du rôle du Parlement Loi du 14 juin 1996 : élargit les pouvoirs d'information du Parlement et crée l’office

parlementaire d'évaluation des politiques publiques

Création de la MEC – mission d’évaluation et de contrôle en 1999.

Politiques contractuelles et décentralisation Circulaire de 1993 : Comité interministériel aménagement du territoire instaure

l’obligation d’évaluation des politiques contractuelles

Circulaire Jospin de 2000 : impose l’évaluation dans les procédures contractuelles

(contrats de pays, d’agglomérations, Parcs naturels régionaux, etc. )

12




2. Développement et limites en FranceEvaluation et réforme de l’Etat

La Loi organique relative aux lois de finances (LOLF) en 2001 Instaure une nouvelle culture d’évaluation de l’efficience de la dépense à travers des

procédures de reporting

Définition de cibles et indicateurs quantifiés à partir de 2006, capables de mesurerles résultats des politiques publiques

Passage d'une logique de moyens à une logique d'objectifs et de résultats

3 innovations majeures: La transparence de la dépense budgétaire et la sincérité des comptes,

L’efficacité de la dépense et le contrôle de la performance de l’action publique,

La culture du résultat et la responsabilité des acteurs publics face aux conséquencesde leurs actions.

Des documents de programmation PAP : programme annuel de performance => engagement sur des objectifs chiffrés en

début d’année

RAP : rapport annuel de performance => obligation de rendre des comptes en find’année

13





La révision générale des politiques publiques – 2007 : une démarche demacro-évaluation ? Objectifs : Combien ça coûte ? À quoi ça sert ? Est-ce que ça peut être mieux fait

avec moins de moyens ?

Examen des politiques publiques dans 14 domaines de l’Etat

3 axes d’analyse - Améliorer les services à l’usager et l’efficacité des politiques

- Chercher des modes de fonctionnement plus productifs pour rationaliser et réduire les coûts

- Identifier les conditions pour mettre en œuvre les réformes

Dans les faits

- De nombreuses missions de réorganisation => revue des organigrammes, réduction du

nombre de directions, regroupement de corps d’inspection, diminution des RH (nonremplacement d’un fonctionnaire sur deux)

Ex : fusion DGI / DGCP pour un guichet fiscal unique

Ex : transfert de la gendarmerie au Ministère de l’Intérieur

14





Les grandes questions de la RGPP

15

Que faisons nous ? Quels sont les besoins et lesattentes collectives ?

Faut-il continuer àfaire de la sorte ?

Qui doit le faire? Qui doit payer ?

Comment faire mieux

et moins cher?

Quel scénario de

transformation ?





Débat : LOLF et RGPP / différences et complémentarités avecl’évaluation des politiques publiques ?

16

Complémentarités Différences

Définition d’indicateurs de

performance

Objectifs apriori (PAP)Rendu compte (RAP)

Analyse possible de l’efficacité, de

l’efficience et de la qualité de service

…

Logique de performance fondée sur

les résultats plus que sur lapertinence, la cohérence et les effets

Faible prise en compte desbénéficiaires / usagers

…




2. Développement et limites en France Avancées récentes

Révision constitutionnelle de juillet 2008 : Article 24 : Le Parlement évalue les politiques publiques

Article 47-2 : « la Cour des comptes assiste le Parlement dans le contrôle de l’action du

Gouvernement (…) dans le contrôle de l’exécution des lois de finances, de l’application

des lois de financement de la sécurité sociale mais aussi dans l’évaluation des politiques

publiques. Par ses rapports publics, elle contribue à l’information des citoyens. »

Loi organique 2009 : instauration d’étude d’impact ex ante à chaque

nouvelle loi

17




2. Développement et limites en FranceProfessionnalisation et standardisation depuis 2000

Professionnalisation et qualification Émergence diplômes spécialisés

Intégration de l’évaluation dans les formations du CNFPT

Amélioration de la qualification des évaluateurs

Renforcement du marché de l’évaluation et de la concurrence

Réseau professionnel Création de la SFE – Société française d’évaluation en 99

Auj. 300 adhérents – collectivités, administrations, conseils, évaluateursindépendants, universitaires, chercheurs

Rôle : sensibilisation, promotion, lobbying, formation, recherche

Standardisation des pratiques et des méthodes Charte qualité de la SFE

Outils et méthodes

Mais … pas de structure comparable à l’Ordre des médecins ou experts-comptables,ni labellisation

18




3. Panorama des principaux acteurs et pratiquesIntroduction

Eclatement et complexité du jeu d’acteurs Au sein des acteurs publics : absence d’homogénéité

Professionnels de l’évaluation

Chercheurs en sciences sociales

Diversité et foisonnement des pratiques Selon les acteurs Selon les politiques et champs sectoriels

Selon la culture de gestion du commanditaire

19




3. Panorama des principaux acteurs et pratiques Au niveau de l’Etat

Intervention de M. de Loisy, délégué à l’évaluation. Ministère desfinances

20




3. Panorama des principaux acteurs et pratiques Au niveau des collectivités territoriales

Essor et limites de l’évaluation Développement lié au processus de décentralisation

Contraintes d’évaluation imposées notamment par les politiques contractuelles

Limites selon :

- taille de la collectivité

- politiques d’intervention - culture des élus et volonté politique

Des pratiques variées selon les collectivités Rôle leader des Régions dans la pratique de l’évaluation, lié aux fonds structurels

européens

- Mise en œuvre des fonds européens – FEDER, FSE, FEADER et FEP

- Obligation réglementaire d’évaluer et budget dédié

- Application des directives et documents de travail de la Commission européenne

21





Au niveau des autres collectivités (niveau départemental,intercommunal et communal) : des pratiques variées

Conseils généraux : de plus en plus d’unités d’évaluation mais une pratique encore

faible et irrégulière, très disparate selon les départements / les politiques

Intercommunalité et grandes communes : des pratiques en développement dans lesintercommunalités importantes (Communauté urbaine, communautéd’agglomération, principales communes Paris Lyon Nantes Lille Marseille …)

Villes et petites intercommunalités (communautés de communes de faibledimension):

- Pratiques ponctuelles

- Problèmes budgétaires, pratiques coûteuses et longues

- Mais période de contraintes budgétaires importantes et nécessité de réallouer lesressources sur les politiques les plus efficaces

22





Ex : Nantes Métropole / communauté urbaine Mission évaluation en 2008, pas encore d’élu référent

Volonté d’évaluer l’ensemble des politiques de la CU avec focus sur le point de vue

des habitants

Mise en place d’un conseil de développement avec élus, professionnels, associations

et citoyens

- Rôle dans l’élaboration des questionnaires d’interrogation des habitants

- Avis du conseil sur les analyses menées sur les retours des questionnaires

23





Ex : Conseil général du Gard Volonté politique forte du Président du CG

Mise en place d’une direction de l’évaluation avec 2,5 ETP

Rattachement direct à la Direction des services => poids important

Environ 3 évaluations / an : 1 interne / 2 externes

Bonne pratique : constitution d’un réseau avec les collectivités du département etvoisines => réseau RevMed : 8 collectivités (5 CG, 2 Cagglo, 1 Ccommunes)

- Apport mutuel de techniques et expertises

- Mise en commun de moyens humains

24



25

Documents

Eval PP_Séance 2_01.02.2012