1

Une politique axée sur les résultats L’évaluation et les

indicateurs

Marielle RichéDG REGIO C4 – Unité évaluation

marielle.riche@ec.europa.eu

2

La nouvelle approche 2014-2020

Propositions de Règlements:Propositions de Règlements:Plusieurs dispositifs pour une politique axée sur les résultats et plus performante: Objectifs UE 2020 et concentration thématique (Art. 16) Systèmes d’indicateurs et d’évaluation (Art. 47 à 50, Art. 87) Conditionnalités –ex ante, ex post, macro – et réserve de performance (cadre de performance: art. 17 à 20).

- Modifie les façons de concevoir et conduire la politique, nécessite des programmes plus ciblés, la concentration des moyens sur les résultats attendus. - Requiert des choix clairs et partagés et l’engagement des Autorités de gestion.

3

La nouvelle approche 2014-2020

Pourquoi cette nouvelle approche?Pourquoi cette nouvelle approche?

- Jusqu’à présent, importance excessive donnée aux dépenses (indicateurs financiers) : cf les RAE 2010

- Evolutions internationales (ONU, OCDE, Banque Mondiale, milieux académiques)- Contexte économique et politique: renforcer l’efficacité de la politique, en démontrer les résultats et l’impact

Améliorer la conception et le suivi des programmes, mieux en évaluer les effets, mieux communiquer.

4

1999-2013

Axer la politique sur les résultats

Post 2013Post 2013

Dépenses

Réalisations

Résultats

ImpactsObjectifs globaux

Objectifs spécifiques

Objectifsopérationnels

Objectifs

programm

e

Activités programmes

LE CADRE LOGIQUE DES PROGRAMMES: AVANT …LE CADRE LOGIQUE DES PROGRAMMES: AVANT …

5

Autres Facteurs

Suivi et évaluation

Programmation

Stratégie

Besoins Priorité Thematique

Résultatattendu

Contribution (impact)Politique Dépenses allouées

Réalisationsprogrammées

Dépensesréalisées

Réalisationsachevées

Résultatréalisé

LE NOUVEAU CADRE LOGIQUELE NOUVEAU CADRE LOGIQUE

6

• Les résultats sont les effets socio-économiques des programmes: les programmes doivent explicitement formuler ce qu’ils veulent changer (résultats attendus)

• Ce changement doit être exprimé à l’aide d’un petit nombre d’indicateurs de résultat pour chaque axe prioritaire (concentration).

• Puisque l’on parle de changement, il faut savoir d’où l’on part: valeur de référence…

• … et ce que l’on veut atteindre: la valeur cible (Art.6 FEDER)

Qu’est ce qu’un résultat?

7

• Importance d’indicateurs de résultats pertinents, suffisamment proches de l’intervention, réalistes, renseignables, permettant de suivre les progrès vers le résultat attendu.

• Tout ne peut être mesuré: choisir de mesurer un changement auquel le programme contribue de façon significative, ou un changement qui a potentiellement un effet de levier important

• L’indicateur est spécifique au programme: ne prendre un indicateur commun que s’il correspond au résultat attendu

• Le lien logique entre les indicateurs de réalisation et de résultat doit être explicite

Les indicateurs de résultat

8

- les résultats sont influencés par les activités du programme ainsi que par d’autres facteurs: les indicateurs de résultat mesurent des changements provoqués par différents facteurs

- L’impact est la contribution du PO aux changements observés (y compris par l’indicateur de résultat)

L’impact réel du programme ne peut être jugé que par l’évaluation

Qu’est ce qu’un impact?

Changement de l’indicateur de résultat = effet de intervention + effet d’autres facteurs

9

• Ce qui peut être observé (le suivi)- Indicateurs financiers, de réalisation (activités du programme),- indicateurs de résultat (effets socio-économiques de ces activités) et leur évolution- Nous ne parlons plus d’”indicateurs d’impact”. Art. 44: rapports annuels de mise en oeuvre 2016-22

• Ce qui ne peut pas être observé (l’évaluation): interpréter les indicateurs, comprendre le fonctionnement du programme et juger de sa contribution aux résultats (l’impact du programme) Art. 49: au moins une évaluation d’impact pour chaque axe prioritaire

Le suivi et l’évaluation du programme

10

- Deux grandes fonctions (art. 47): améliorer la qualité de la conception et mise en oeuvre des programmes // juger de leur efficacité/efficience/impact

- Plan d’évaluation obligatoire: évaluation en continu (y compris d’efficacité/efficience/impact), capacités nécessaires (art.49, 104)

- Conditions ex ante: “procédures de production et collecte des données nécessaires aux évaluations y compris les données relatives aux indicateurs” (art.47 et annexe IV)

- Rapports annuels de mise en oeuvre en 2017 et 2019: analyse des indicateurs et leur évolution “y compris la contribution des fonds à l’évolution des indicateurs de résultats, lorsque des données peuvent être tirées des évaluations”; + analyse des progrès vers les objectifs du programme et de sa contribution à EU 2020 (art.44)

- Synthèse en 2020: pour chaque programme, résultat des évaluations et jugement sur les réalisations/résultats (art. 104)

Le rôle de l’évaluation

11

- Art. 48: Cohérence stratégique (avec UE 2020, compte tenu des objectifs et priorités thématiques et des besoins régionaux)

- Logique de l’intervention: comment les réalisations contribuent aux résultats, justification de la forme de soutien proposée

- pertinence et clarté des indicateurs, quantification des valeurs cibles réalistes

- qualité des procédures de suivi et de collecte des données nécessaires à la réalisation des évaluations (cf conditionnalité ex ante); ressources humaines adéquates.

- validité des étapes choisies pour le cadre de performance

Importance de l’évaluation ex ante

12

• Exercice pilote en cours avec 9 régions (et plus): concevoir autrement les programmes, tester l’approche

• Quelles sources statistiques, quels modes de collecte, quelles méthodes d’évaluation?

• Un guide sur cette nouvelle approche + sur l’évaluation ex ante (travaux en cours avec les représentants des Etats membres du réseau sur l’évaluation)

• Travaux sur différentes méthodes d’évaluation de l’impact des interventions (contribution du programme), guide sur l’évaluation de l’innovation (début 2012)

Conclusion: se préparer dès aujourd’hui!

13

L’évaluation sur Inforegio: http://ec.europa.eu/regional_policy/impact/evaluation/index_fr.cfm

• Pour une politique axée sur les résultats (travaux du groupe Barca/ Mc Cann)

• Centre pour l’évaluation d’impact (méthodes)• Réseau d'évaluation (avec les États membres)• Documents de guidance • EVALSED : guide de l’évaluation du

développement socio-économique• Etudes et évaluations thématiques

Merci pour votre attention