Embed Size (px)
Citation preview
Cycle de qualification des agents de
développement en vue de la préparation de
la 3ème génération de contrats territoriaux
Module 5
Suivi – Evaluation et démarche d’amélioration continue
Région Centre - Juin 2008
Jean-François Henric / Sandrine Maillet
Module 5 : Suivi – Evaluation et démarche d’amélioration continue
Système de suivi évaluation / démarche d’amélioration continue
Qu’est-ce qu’un indicateur ? Comment choisir un indicateur ?
Référentiel d’indicateurs DD
Méthodes et outils d’analyse
Exercices pratiques
Questions-réponses
Évaluation de la journée et de la formation
matin
après-
midi
Système de suivi évaluation et amélioration
continue
En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques :
- l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ;
- l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ;
- l'évaluation in itinere ou chemin faisant.
Ex-ante In-itinere Ex-post
Différents temps de l’évaluation
Définition d’une politique
publique
Mise en œuvre d’une politique
publique
Clôture et préparation d’une nouvelle politique
publique
Différents « lieux » du suivi-évaluation
Le territoire
Un diagnostic stratégique
Une ambitionUn PROJET
Une CHARTEUn PROGRAMME
Analyse doc.
Entretiens
Animations collectives
Bila
n, é
valu
atio
n
Animation localeNégociation
SélectivitéHiérarchisationTransversalité
Identification d’enjeux
Définition d’un objectifpartagé
Des grandes ambitionsune stratégieDes moyens
Une organisation
Traduction opérationnelle
SélectivitéHiérarchisation
Phasage
Analyse stat et cartographique
validation
validation
validation
Réorientations
Un CONTRAT
SélectionNégociation
Engagements réciproques
Partenaires
Enjeux régionaux,
départementaux
Evaluation, réorientations
Evaluation, réorientations
Donnée = occurrence chiffrée d’une variable
Indicateur = variablequali ou quanti, permettant seule ou avec d’autresl’appréciation à partir d’une échelle de valeurs normative et/ou comparatived’un phénomène mesurable ou non
Ex : population, etc…
Qu’est-ce qu’un indicateur ?
Un indicateur c’est:
•Un outil de description du réel
•Un outil de comparaison
•Un outil de communication
•Un support à la décision
Qu’est-ce qu’un indicateur ?
9 caractéristiques pour les indicateurs :
1. Ils sont utilisés pour traiter d’une question ou d’un phénomèneOn devrait parler d’indicateur de quelque chose
2. Ce sont des variables
3. Ils doivent se situer dans un système de référenceRepère, étalonnage, échelles…
4. Ils sont liés aux notions d’action et d’objectif
5. Un indicateur est lié à une échelle temporelle d’évolution du phénomène observé
Qu’est-ce qu’un indicateur ?
9 caractéristiques pour les indicateurs :
6. Ils visent à donner une représentation la plus proche d’une réalité complexeRéduire l’incertitude
7. La multiplication des indicateurs est nécessaire pour cerner un phénomène complexeConvergence, faisceau de présomption
8. Ils doivent être documentés
9. Ils doivent permettre de communiquer
« Observer ou suivre » un territoire?
Observatoire de territoire
Lieu de fourniture de données,
d’informations
Lieu où on essaie de répondre à des
questions
Lieu où on essaie de mesurer
l’atteinte d’objectifs
StatistiquesDonnéesCartes
Etc.
Indicateurs quanti et quali
Indicateurs quanti et quali
Indicateurs de résultat
Indicateurs d’impact
Evaluation à différents niveaux à différents temps
PLAN D’ACTION AGENDA 21
EVALUATION PAR ACTION
EVALUATION GLOBALE
Action 1
Action 2
Action 3
Contenu de l’action
Indicateurs spécifiques
Indicateurs globaux
Territoire
► Enquêtes
D’après RCT A21 St Etienne Métropole
Indicateurs de résultats
Indicateurs d’impacts
Tableau de bord /
Observatoire
Exemples d’indicateursIndicateurs de résultats
Nombre de kilomètre de pistes cyclables
Nombre de points d’apports volontaires / habitant
Consommations énergétiques liées à l’éclairage public
Nombre de nouvelles places d’accueil petite enfance
Indicateurs d’impact
Emissions annuelles de CO2 en tonnes par habitant sur le territoire
Qualité globale des cours d’eau / points de surveillance
Nombre de personnes souffrant de pathologies liées à la qualité de l’air
Proportion de personnes vivant en deçà du seuil de pauvreté
Comment choisir les indicateurs?
Que veut-on observer ?
• Bien circonscrire la question qui se pose
• Identifier et décrire les problématiques
• Préciser éventuellement les angles de l’analyse
Comment choisir les indicateurs?
Lister les objets de l’observation
• Ex: a-t-on aisément accès aux soins sur un territoire
• Objets : les « stocks » (« l’offre ») et les flux (« fréquentation »)
• Indicateurs calculés : nombre, diversité, proximité physique, accessibilité horaire…
Comment choisir les indicateurs?
Décrire les indicateurs
• Lister le possible• Justifier le choix (apports à la question posée,
lien avec d’autres indicateurs…)• Vérifier l’applicabilité (accessibilité des
données, coût…)• Assurer la reproductibilité (sources et données
nécessaires, mode de calcul…)• Préciser les modalités d’utilisation (échelles
spatiales et temporelles, exploitations possibles, limites et précaution d’utilisation…)
• Garantir la lisibilité • Hiérarchiser et partager
Quel référentiel pour choisir des indicateurs ?
Indicateurs de développement durable urbain – ARPE
Référentiel d’évaluation et de suivi des politiques environnementales des collectivités territoriales – RESPECT
Benchmarking : évaluation dans le cadre d’agendas 21 : CG Nord Pas de Calais, CG Drôme, CG Essonne, Communauté urbaine de Dunkerque, Communauté urbaine de Lyon, ville d’Echirolles, ville de Marseille, ville de Toulouse, etc…
Etat de l’art actuellement réalisé par le MEEDDAT sur la pratique de l’évaluation des projets territoriaux de développement durable
45 indicateurs du développement durable, une contribution de l’IFEN (2003)
Indicateurs de développement durable urbain - ARPE
27 indicateurs
Échelle communale
Sur les 4 dimensions du DD + interface
Lisibilité / facilité de recueil de données et de mise à jour
Fiche de description des indicateurs (Définition / Limites d’utilisation / Aide à l’interprétation / Références de l’indicateurs/A21 / Données mises en œuvre / Année / Organismes producteurs / Calcul / Unité / Fiabilité / Fréquence de production minimale …)
Exemples d’indicateurs de développement durable urbain - ARPE
RESPECT DES EQUILIBRES ECOLOGIQUES
Espaces verts boisements et zones nat. : Offre en espace verts entretenus par habitants
Protection des ressources en eau douce et de leur qualité :
Prix de l'eau : écart au prix moyen national
Qualité de l'eau produite : pourcentage de non-conformité des analyses microbiologiques.
Déchets : Taux de détournement pour valorisation
RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENTSOCIAL
Qualité de l'air et bruit
Emission de gaz responsables de la pollution atmosphérique (rejet Nox en kg/ha)
Proportion des déplacements domicile-travail réalisés en transport en commun
Agriculture périurbaine : Proportion des exploitations signataires d'une démarche labellisée
Risques majeurs : Niveau d'exposition aux risques naturels et industriels
RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENT SOCIAL
Urbanisation : Indice de consommation d'espace – évolution sur les 5 dernières années
Exemples d’indicateurs de développement durable urbain - ARPEDEVELOPPEMENT ECONOMIQUE <> ENVIRONNEMENT
Certification : Part des salariés d'établissements privés certifiés ISO 14001
DEVELOPPEMENT ECONOMIQUE
Diversification de l'activité : nombre d'établissements privés pour 1000 habitants
Emploi : Evolution du nombre d'emplois
DEVELOPPEMENT SOCIAL <> ACTION ECONOMIQUE
précarité et exclusion : Part de la population vivant en-deçà du seuil de pauvreté
DEVELOPPEMENT SOCIAL
Démographie : Taux d'accroissement de la population
Logement social : Proportion des logements locatifs sociaux
Santé : temps d'accès au services d'urgence minutes
Education,formation : Proportion des 15 ans et plus non-titulaire d'un diplôme qualifiant
Patrimoine, culture, sport et loisirs
Nombre de livres empruntés dans les bibliothèques
Nombre de monuments inscrits et classés
Exemples d’indicateurs de développement durable urbain - ARPE
DEVELOPPEMENT SOCIAL (suite)
Sécurité des biens et des personnes : Taux de criminalité
Intégration des femmes : Taux de chômage féminin: écart au taux moyen national
GOUVERNANCE
Finances et marge de manœuvre : Taux d'imposition: écart à la moyenne nationale
Stratégies de développement durable
signature de la charte d'Aalborg oui/non
Citoyenneté et démocratie
Niveau d’implication des citoyens dans la décision
Taux d'abstention aux élections municipales et régionales
Référentiel RESPECT
La méthode RESPECT s’adresse à une collectivité
Qui a une politique environnementale et qui souhaite l’évaluer
Qui n’a pas de politique environnementale mais qui souhaite en définir une
Qui veut suivre ponctuellement des actions environnementales
Référentiel RESPECT
de 1997 à 2000, 30 collectivités européennes dont le CR de Poitou-Charetnes, les CG de Côtes d’Armor et Gironde, communautés urbaines de Lille et de Lyon, les villes d’Aix en Provence, d’Arras, de Boulogne-Billancourt, Chalon-sur-Saône, de Douai, de Grenoble, de Marseille, de Niort, d’Orléans, de Toulouse
Validation de la méthode, test et vérification des indicateurs environnementaux et de leur transférabilité
Indicateurs environnementaux sous forme de tableau de bord environnemental (TBE)
Méthode RespectAppropriation et adaptation du tableau de bord
environnemental
Réalisation de l’état des lieux
Fiche indicateur
Détermination des objectifs de la collectivité
Fiche évaluation
Programmation des actions
Note globale environnementale des indicateurs
Evaluation de la politique environnementale
Fiche synthèse thématique
Nouvelle programmation des objectifs et desactions de la collectivité
Méthode RESPECT (suite)
Appropriation et adaptation du tableau de bord environnemental
Choix des thèmes à suivre par la collectivité
Choix des indicateurs à suivre par la collectivité en fonction des compétences ou des choix de politique environnementale
Ajout d’indicateurs adaptés à la collectivité
Indicateurs RespectCritères (nature de l’indicateur) :
Pression : Indicateur rendant compte des pressions exercées par les activités humaines sur l’environnement
Etat : Indicateur rendant compte de la modification de la qualité ou de la quantité des ressources
Réponse : Indicateur rendant compte de la réponse que la société apporte pour limiter les conséquences de ces pressions sur l’état de l’environnement
Objectifs
Indicateurs
Pression / Etat / Réponse
ACTEURS
PRESSION
ETAT
IMPACT
REPONSES
ExemplesCritère : Pression
Objectif : Connaître la consommation pour économiser la ressource en eau
Volume total facturé par an par habitantCritère : Etat
Objectif : S’assurer de la qualité des cours d’eau pour satisfaire les différents usages
Qualité globale des cours d’eau et des lacs en fonction des points de surveillance et selon les classes de qualité de la directive « eau potable »
Critère : Réponse
Objectif : Limiter la pollution par les rejets d’eaux usées
Rendement global de dépollution du système d’assainissement collectif
Méthode RESPECT (suite)Réalisation de l’état des lieux
Détermination des valeurs initiales des indicateurs (fiche indicateur)
Détermination des objectifs de la collectivitéElaboration des objectifs opérationnels chiffrés pour chaque indicateur (fiche évaluation)
Programmation des actionsChoisir des indicateurs prioritaires à partir d’une note globale environnementale attribuée à chaque indicateur :
Une fois le tableau de bord rempli et les objectifs opérationnels fixés, choisir des indicateurs sur lesquels il faut agir de manière prioritaire
Choisir les solutions les plus efficaces
Choix des indicateurs prioritaires : note globale environnementale prioritaire
Méthode : analyse multicritère et notation multicritère de chaque indicateur
Critères environnementaux (possibilité d’ajouter des critères politiques / sociaux / économiques pour pondérer la proposition)
Chaque critère est noté de 1 à 3 pour un indicateur donné. Le critère peut être noté pour l’ensemble d’un thème (selon le cas)
Multiplier chaque note obtenu par critère pour chaque indicateur
Résultat : note très forte : indicateur prioritaire /
note très faible : indicateur peu prioritaire
Choix des indicateurs prioritaires : note globale environnementale prioritaire
Critères environnementaux :
Le milieu auquel correspond le thème est il de mauvaise (3) ou de bonne qualité (1) ?
Le milieu auquel correspond le thème se dégrade-t-il (3) ou s’améliore-t-il (1) ?
La ressource à laquelle correspond le thème s’épuise-t-elle (3) ou est-elle encore très importante (1) ?
L’effet sur la santé humaine est-il jugé important (3) ou faible ou inexistant (1) ?
L’effet plus global sur les autres territoires ou les générations futures de l’évolution négative d’un indicateur est-il jugé important (3) ou faible (1) ?
La valeur réglementaire est-elle atteinte ? Non (3) / Oui (1)
Autres critères possibles :
La perception des habitants en fait-il un thème prioritaire (3) ou non (1) ?
Le thème fait-il de partie des priorités politiques fortes (3) ou moins fortes (1)
L’activité de la collectivité lui permet-elle de mettre en place des actions à forte valeur d’exemple (3) ou non (1) ?
Evaluation de la politique environnementale
Actualisation des indicateurs (selon la période déterminée)
Évaluation de l’indicateur avec une analyse entre les objectifs fixés et les résultats atteints
Evaluation de l’indicateur permettant une analyse globale des indicateurs d’un même thème (fiche synthèse thématique)
Nouvelle programmation des objectifs et des actions de la collectivité
Méthode RESPECT (suite)
Intérêt méthode RESPECT
Batterie d’indicateurs environnementaux adaptés à différents échelons territoriaux
Permet de s’interroger sur l’objectif et l’objectif opérationnel
Permet de s’inscrire dans une véritable démarche d’amélioration continue
L’analyse au regard du développement durable
Système d’Evaluation
Analyse
Critères QuestionnementsOQADD
Suivi-Evaluation
Quantitative Qualitative
IndicateursTableau de bordEnquêtes
Application des méthodes et outils d’analyse
Méthode
Outils : OAQDD ou grilles d’analyse
Territoire
Politiques, projets, actions
Intérêt des méthodes et des outils d’analyse
Appropriation du développement durable
Animation de la transversalité
Démarche d’amélioration continue
Aide à la décision en vue d’impacter réellement les projets et permettre l’émergence de solutions alternatives
Les OQADD
Terme introduit par A. Boutaud : Outil de Questionnement et d’Analyse en matière de Développement Durable
Méthode d’élaboration et mode d’utilisation des OQADD
L’outil d’analyse
Le contenu : le questionnement :
Environnement
Social – culture – santé
Économie (tissu économique, rentabilité, emplois)
Thèmes transverses, champs croisés (transversalité, internalisation, etc..)
Gouvernance (information, concertation, participation)
Principes de développement durable (précaution, long terme, global-local)
Autres (aménagement, urbanisme, transport, autres…)
L’outil d’analyse
Le questionnement
Mots clés, Questions, Mots clés et questions
Questionnement simple sans être « simpliste »
Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)
Un nombre de critères suffisant mais limité
L’outil d’analyse
Le système de notation
Que note-t-on ? : le niveau d’objectif (ou d’enjeux) ? le niveau de prise en compte du critère ? le niveau d’impact ? La capacité d’amélioration ?
L’amplitude de la notation
L’explicitation de la notation
L’agrégation
L’outil d’analyse à vocation pédagogique : un outil convivial et communicant
Explicitation du mode d’utilisation, des termes (livret d’accompagnement)
Rendu graphique
Code couleur
Supports : Plaquette de communication…
Graphe type radar
Environnement
Gouvernance
Social
Économie
Équité
Précaution Viabilité
ParticipationApproche intégrée = 4
Approche fractionnée = 3
Approche ponctuelle = 2
Déclaration d’intention = 1
Sujet non traité = 0
Les schémas de performances
GouvernanceDéveloppement économique
pluriel
Environnement
Cohésion Sociale
Profil maximum
Profil à 3 ans
Profil actuel
Zone d’alerte
Source : communauté urbaine de Dunkerque
1.1 – Diminuer les nuisances et les pollutions
Prise en compte du critère Non pris en compte Un peu pris en compte Bien pris en compte
Les impacts du projet par rapport au critère Impact négatif Non significatif Impact positif Impact positif fort
Le niveau d’amélioration possible (faisable) de prise en compte du critère Nul Insignifiant Moyen Bon NSP
L’OQADD VILLE DE MARSEILLEL’OQADD VILLE DE MARSEILLE
Présentation : Présentation d’un critère
L’OQADD VILLE DE MARSEILLEL’OQADD VILLE DE MARSEILLE
Présentation : Présentation d’un critère
Source : ville de Marseille
Représentation graphique de l’analyse du projet par la grille
Impact positif fort
Impact positif
Non significatif
Impact négatif
6
4
3
5
2
1
54
21
3
52
43
13
4
1
2
5
13
52
4
12
34
56
6
6
6
6
Les impacts
Bon niveau
Moyen
Insignifiant
Nul
ENVIRONNEMENTPLANIFICATION
LIEN SOCIALCONDITIONS DE VIE
GOUVERNANCEVIABILITE
ECONOMIQUE
PRINCIPES ET DEMARCHES POUR UNE DURABILITE
6
4
3
5
2
1
54
21
3
5
2
43
13
4
1
2
5
1
35
24
1
23
4
56
6
6
6
6
Les améliorations
ENVIRONNEMENTPLANIFICATION
LIEN SOCIALCONDITIONS DE VIE
GOUVERNANCEVIABILITE
ECONOMIQUE
PRINCIPES ET DEMARCHES POUR UNE DURABILITE
Source : ville de Marseille
Un exemple d’utilisation de la grille au Val d’Orge
Préservation des ressources et protection de l’environnement
Sans objet Nul Fort
1. Eau
2. Nature (faune, flore, biodiversité)
3. Nuisances sonores
4. Déchets
5. Sols, sous-sols
6. Air, énergie, effet de serre
7. Risques naturels et technologiques
Dynamique économique
8. Soutien aux activités existantes (tissu urb. & ZA)
9. Diversification des activités
10. Prise en compte de l’env. par entreprises
11. Soutien à l’économie sociale et solidaire
Mode d’élaboration de l’outil d’analyse
Elaboration participative et transversale :
méthode d’analyse / validation des marges de progrès
d’outils d’analyse
Sensibilisation / formation préalable
Communication /sensibilisation sur la réflexion
Outil évolutif
Modalité d’utilisation de l’outil d’analyse
Tester la grille sur quelques projets dans les conditions réelles d’utilisation
Identifier les personnes chargées de l’analyse du projet : des personnes impliquées directement dans le projet et des personnes non impliquées initialement
Travail en amont avec le ou les porteurs du projet
Groupe de travail transversal
Validation
Etude de faisabilité, mise en œuvre
Conclusion : les conditions de réussite
Participation
Définir une méthode en amont et la planifier
Préciser les objectifs de l’analyse
Méthode et Outils débattus et appropriés
