Évaluer un programme d’actions

Indicateurs et tableau de bord

11/12/2008

Sommaire

I) Intérêts d’un tableau de bord et d’indicateurs

II) Principes de conception des indicateurs et du tableau de bord

III) Résultats du travail de l’AREAS à mi-parcours du projet RDT2

I) Intérêts d’un tableau de bord et d’indicateurs

ConstatL'avalanche d'informations non organisées réduit notre temps d'attention et rend le débat politique plus superficiel et les décisions plus aléatoires.

Le responsable de l’évaluation d’un programme d’actions se trouve le plus souvent face à un grand nombre d’informations et de données qui compliquent le diagnostic et ne simplifient pas la prise de décision.

Intérêts du tableau de bord• C’est le document de référence permettant :

– De formaliser et de conserver des informations et des données ;– De piloter des activités et des projets, et de suivre leur évolution ;– De contrôler des dépenses et de respecter des budgets ;– D’analyser des tendances et de mesurer des écarts…

• Vers une nouvelle méthode de communication et d’évaluation :

– Rendre lisible sa stratégie d’ensemble en interne et en externe ;– Mesurer l’efficacité de sa politique et de ses choix techniques ;– Permettre à tous les acteurs de se coordonner et de se positionner dans un

programme d’actions commun ;– Faire un diagnostic du degré d’atteinte des objectifs du programme d’actions

et aider à prendre les décisions pour orienter les actions futures.

Intérêts des indicateurs

Pour quoi faire ? Synthétiser l’information, conserver des données, piloter des projets, mieux communiquer…

A qui s’adressent les indicateurs ? Monde de la finance, entreprises, gouvernement, collectivités territoriales…

Où en suis-je dans mes projets ? Taux de réalisation des projets

Ai-je atteint mes objectifs ?Mes projets sont-ils réellement efficaces ?

Définir plus précisément l’efficacité des projets

Suis-je sur la bonne voie ?Prise de recul, auto critique et auto évaluation

Définitions

• Définition d’un indicateur :

« un indicateur est une donnée quantitative qui permet de caractériser une situation évolutive, une action ou les conséquences d’une action, de façon à les évaluer et à les comparer à différentes dates et à différentes échelles spatiales »

Agence de l’Eau RMC

• Définition d’un tableau de bord :

« Représentation synthétique chiffrée des principales informations nécessaires aux dirigeants (entrepreneurs, gouvernement etc.) pour le contrôle de l’exécution d’un programme d’actions et l’orientation en cas d’écarts par rapport aux projets ou projections ».

Lexique de gestion Dalloz

Sommaire

I) Intérêts d’un tableau de bord et d’indicateurs

II) Principes de conception des indicateurs et du tableau de bord

III) Résultats du travail de l’AREAS à mi-parcours du projet RDT2

II) Principes de conception des indicateurs et du tableau de bord

Principe de construction du tableau de bord

LE PROGRAMME D ’ACTIONS

LE TABLEAU DE BORD

Enjeux

Objectifs

Axes

Mesures

Actions

Données mesurables

Cadrans de

pilotage

Cadrans intermédiaires

Cadrans de base

Indicateurs

Architecture

Variables

Règles de décision

Niveaux d’alerte

Seuils

Démarche pour la création d’un tableau de bord

1 - structurer le programme d’actions, des enjeuxaux variables

2 - choisir les seuils (passage des variables aux indicateurs)

3 - définir les niveaux d’alerte des cadrans de base (passage des indicateurs aux cadrans)

4 - définir le nombre de cadrans de pilotage etl’arborescence (organisation des différents niveaux de cadrans)

5 - définir les règles de décision (passage de l’alerte d’un niveau de cadran à l’autre)

Recherche bibliographique

Efficacité des aménagements selon 4 paramètres : - Érosion ;- Infiltration ;- Sédimentation ; - Laminage.

Simulations et calculs

Efficacité limite des aménagements

Approche économique Données brutes collectées

(multitude de variables et d’indicateurs)

Indicateurspertinents

Ré s

ult

at /

Val

idat

ion

Sél e

cti o

n/t

rai

t em

ent

Élaboration de variables coût efficacité des aménagements

Élaboration de variables d’efficacitédes actions de réduction de l’érosion, des ruissellements et des inondations

selon le modèle Pression - Etat –Réponse

Méthodologie d’élaboration d’indicateurs pertinents

Classement des indicateurs

Modèle PER (Pression-Etat-Réponse) de l’OCDE :

• Indicateurs d’État » État néfaste que l’on cherche à améliorer

• Indicateurs de Réponse» Solution que l’on apporte pour améliorer l’état

• Indicateurs de Pression» Action néfaste sur l’état

Modèle PER (Pression-Etat-Réponse)

Source : OCDE

Echelle Spatiale

Région ?

Département ?

Bassin versant

Sous-bassin versant

Parcelle

Echelle de Temps

Mois Saison Année N Année N+1 Année N+2 Année N+3 Année N+4 Année N+5…

Les contraintes de temps doivent prendre en compte :

• Facteurs physiques : - Climatiques- Occupation du sol

• Facteurs humains : - Personnes chargées du suivi- Décideurs et financeurs

Fiche indicateur

Sommaire

I) Intérêts d’un tableau de bord et d’indicateurs

II) Principes de conception des indicateurs et du tableau de bord

III) Résultats du travail de l’AREAS à mi-parcours du projet RDT2

III) Résultats du travail de l’AREAS à mi-parcours du projet RDT2

Structure générale du tableau de bord

Couvrir le sol et renforcer la résistance du sol à l’arrachement dans le but de limiter l’érosion

TABLEAU DE BORD

AGRICULTEURSCollectivité / Financeurs

Variables de réponses

Valeur indicateur 1er niveau d’agrégation

Valeur indicateur de Réponse2 nd niveau d’agrégation

Variables d’Etat Valeur indicateur d’Etat Variables de

pressionValeur indicateurDe Pression

Suivi des projets et communication

Pratiques agricolesÉconomie et financement

Regroupement d’indicateurs par thème

Exemple :Critères de sélection des variables :

Indicateurs faciles à renseigner Indicateurs intéressant les financeurs

133 variables au départ

28 variables sélectionnées

Critères de choix des variables (Notation de 0 à 4)

• Pertinence• Existence d’une valeur de référence ou définition d’un objectif quantifié• Utile pour l’aide à la décision• Lisibilité du résultat de la variable • Fondement scientifique

• Éléments de faisabilité• Disponibilité et accessibilité des données• Coût des données• Complexité d’élaboration de la variable

• Qualité des données• Niveau de précision des données fiables ou non

• Représentativité• Taux de couverture spatiale possible• Sensibilité

Exemple de critères de choix des variablessur le processus d’action couvrir le sol et renforcer la résistance du sol à l’arrachement

Couvrir le sol et renforcer la résistance du sol à l’arrachement dans le but de limiter l’érosion

TABLEAU DE BORD

AGRICULTEURSCollectivité

Variables de réponses

Valeur indicateur 1er niveau d’agrégation

Valeur indicateur de Réponse2 nd niveau d’agrégation

Variables d’Etat Valeur indicateur d’Etat Variables de

pressionValeur indicateurDe Pression

Suivi des projets et communication

Pratiques agricolesÉconomie et financement

Regroupement d’indicateurs par thème

Tableau de bord

Programme d’actions agricoles du SBV

Sélection des actions agricoles agissant sur la couverture du sol et le renforcement de la résistance du sol à l’arrachement

10 variables de sortie

Sélection des variables

26 variables d’entrée

COLLECTIVITE

Couvrir le sol et renforcer la résistance du sol à l’arrachement dans le but de limiter l’érosion

Suivi des projets et communication

Surface de zones tampons enherbées

mises en place par la collectivité

TABLEAU DE BORD

Taux de surface enherbée agricole

Pratiques agricoles

AGRICULTEURS

Pertes de terre évitées dans les talwegs aménagés par la

collectivité

Économie et financement

Coût de réalisation des dispositifs anti-érosifs

Coût de cette action pour la collectivité

Taux de surface en culture érosive

Taux de petits aménagements prévus

et réalisés Taux de linéaire de talweg enherbé

Nombre de ravines présentes après mise en place des

dispositifs anti-érosifs

Nombre d’ouvrages de laminage curés et quantité

curée

Va riabl es d’E

ta t

Va riabl es de Pres sion

Va riabl es de R

épo nse

Cadran mesurant la variable annuellement(valeur variable/objectif annuel fixé)

Cadran mesurant la variable sur la durée du contrat

(valeur variable/objectif fixé dans le contrat)

Agrégation de variables en indicateurs

Coefficient d’agrégation * Somme(valeur variables/objectifs fixés dans le contrat)

(1/n variables)* [C1*Var1/Obj1+C2*Var2/Obj2+…]

COLLECTIVITE / FINANCEURS

Laminer les crues pour limiter les impacts des inondationsTABLEAU DE BORD

Lame d’eau ruisselée

Va riabl es de Pres sion

Superficie potentiellement

ruisselante du BV

Nombre de biens inondés sur le bassin versant

% de communes sur le bassin versant déclarées en

Catnat

Hauteur d’eau dans les zones vulnérables aux

inondations

Va riabl es d’E

ta t

Coût des inondations

Suivi des projets

Volume spécifique total retenu par les

ouvrages de laminage

Temps passé au suivi et à la surveillance des

aménagements

Moyens humains Économie et financement

Coût de réalisation, d’entretien, de suivi et de

surveillance des aménagements

Montant total des aides / Montant total des

opérations

Taux de réalisation des aménagements

hydrauliques

Va riabl es de R

épo nse

26

Cette démarche de tableau de bord doit permettre àtous les acteurs (agriculteurs, collectivités territoriales, financeurs) de se coordonner et de se positionner dans un programme d’action commun.

Le tableau de bord permet de comparer les actions des collectivités territoriales (indicateurs de réponse) par rapport aux pressions (indicateurs de pression) exercées sur le milieu et de mesurer l’efficacité globale du projet (indicateurs d’État).

Enfin, le tableau de bord permet de faire un diagnosticdu degré d’atteinte des objectifs du programme d’actions et aide à prendre les décisions pour orienter les actions futures.