A quoi sert une évaluation ? (1/3)

L’évaluation, c’est la production d’un jugement de valeur concernant une politique publique.

Elle vise à mesurer les effets de la politique évaluée grâce à des outils.

Selon la charte française de l’évaluation des politiques publiques :

« l’évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le double but de permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les impacts. L’évaluation contribue ainsi à rationaliser la prise de décision publique, à moderniser la gestion de l’administration et des services publics et à rendre plus efficace la dépense publique. Elle contribue simultanément au développement de la responsabilité et des pratiques de compte rendu, ainsi qu’à l’apprentissage organisationnel. Elle participe aux progrès parallèles de la bonne gestion et du débat démocratique. »

A quoi sert une évaluation ? (2/3)

A quoi sert une évaluation ? (3/3)En résumé, les finalités et l’intérêt à évaluer une politique ou une action publique sont multiples

- contrôler le bon usage des financements publics- comprendre et produire de la connaissance- mesurer l’efficacité de l’action publique- apprécier l’impact d’une politique publique - améliorer la qualité et le fonctionnement des services- donner un sens (= relier les actes à des orientations

philosophiques)- produire du changement dans les pratiques- mobiliser les acteurs et les partenaires- communiquer sur ce que l’on fait.

L’évaluation locale des CUCS (1/3)

1) Qu’est ce que le Contrat Urbain de Cohésion Sociale ?

Le Contrat Urbain de Cohésion Sociale est le document d’action stratégique, élaboré par les partenaires locaux.

Il définit le projet urbain et social qu’ils s’engagent à mettre en œuvre pour réduire les écarts de développement entre les territoires prioritaires et leur environnement.

Il vise une meilleure intégration de ces territoires dans le fonctionnement de la ville.

Il doit permettre l’amélioration de la vie quotidienne des habitants des quartiers prioritaires et favoriser l’égalité des chances entre tous les habitants d’une même collectivité.

Ce contrat s’adosse à un diagnostic établi par l’ensemble des partenaires, précise les objectifs à atteindre assortis d’indicateurs, et définit les programmes d’action au service de ces objectifs.

L’évaluation locale des CUCS (2/3)

2) Les thématiques du CUCS à Roubaix

- Emploi et développement économique

- Habitat et cadre de vie

- Éducation

- Santé

- Prévention de la délinquance

- Participation des habitants et citoyenneté

- Culture

- Sport et activités en direction de la jeunesse

- Promotion de l’égalité et de la diversité

- Agenda 21 et développement durable

- Appui au monde associatif

- Services publics de proximité

L’évaluation locale des CUCS (3/3)

3) Principes et obligations réglementaires en matière d’évaluation

Les circulaires du 24 mai 2006 et du 15 septembre 2006 prévoient une évaluation des CUCS à échéance de 3 ans. Cette évaluation devra s’appuyer sur des bilans annuels de réalisation prévus par la loi n°2003-710 du 1er août 2003 d’orientation et de programmation pour la ville et la rénovation urbaine.

La circulaire du 15 septembre 2006 insiste sur le fait que les CUCS doivent intégrer la préoccupation évaluative dès leur phase d’élaboration et que, pour cela, ils doivent formuler des objectifs et des résultats attendus qui soient évaluables.

Quoi évaluer ? (1/2)L’évaluation du CUCS vise : - d’une part à rendre compte de la mise en œuvre et des effets du CUCS au travers de ses

programmes d’action ;

- d’autre part à apprécier les pratiques partenariales et organisationnelles induites par le CUCS.

1) Évaluation de la mise en œuvre des programmes d’action et leurs résultats Le bilan annuel de réalisation : « qu’avons-nous fait ou financé l’année écoulée ?  »

La mesure ou l’identification des résultats produits par les programmes d’action : vise à répondre aux trois questions évaluatives suivantes :

- le programme d’action a-t-il été ou non efficace ? (évaluation d’efficacité et d’impact)

- si oui, comment ? Si non, pourquoi ? (évaluation des conditions de mise en œuvre)

- l’efficacité constatée est-elle à la hauteur des moyens financiers, humains et institutionnels mobilisés ? (évaluation de l’efficience)

Il s’agit de constater ce que les réalisations ont produit ou non en terme d’amélioration de la situation de départ et de comprendre pourquoi

Dans un but d’apprécier la performance de l’action publique, au regard des finalités de la politique de la ville.

Quoi évaluer ? (2/2)

2) Évaluation de l’impact du contrat lui-mêmeIdentifier et apprécier les changements structurels induits (réalisé au terme des 3 ans). Cette appréciation se fera par rapport aux finalités et principaux enjeux stratégiques du CUCS

3) Évaluation de l’évolution des pratiquesLa transversalité de l’action publique : entre les différents partenaires

La participation des habitants

Les pré requis pour mener une évaluation (1/2)

• une démarche continue et participative• sert à la fois à piloter le projet en continu, à l’adapter et à l’améliorer

Concrètement cela suppose de : 1) veiller à rendre les contrats évaluables dès leur élaboration : cette phase doit permettre d’affiner les objectifs stratégiques et opérationnels puis, de formuler des résultats attendus suffisamment clairs pour permettre de mesurer ultérieurement l’efficacité et les impacts des actions conduites.

2) se doter des outils locaux de suivi et d’observation : - mettre en place un dispositif et un outil de collecte des données physiques (réalisations et résultats) et financières ;- s’assurer de la disponibilité des données nécessaires à l’observation et à l’analyse des évolutions des quartiers et mettre en place un système d’observation des quartiers avec les institutions compétentes (INSEE, CAF, ANPE, ADU…)

Les pré requis pour mener une évaluation (2/2)

3) piloter les politiques/projets grâce à l’évaluation continue : l’évaluation doit contribuer au pilotage des politiques, ce qui suppose que les comités de pilotage et technique jouent un rôle actif dans sa mise en œuvre : portage politique du projet évaluatif, définition d’un programme d’évaluation, désignation d’un responsable technique de l’évaluation, temps de discussions annuels sur les résultats de l’évaluation…

4) ne pas chercher à tout évaluer mais choisir des priorités : on ne peut tout évaluer, il faut donc faire des choix concernant les thématiques ceci en fonction des priorités d’intervention stratégiques pour la ville.

Comment rendre évaluable les CUCS ? (1/6)

1) Définir quelques questions évaluatives

- En partant des principaux enjeux stratégiques

- En ayant un débat entre décideurs

- En se préoccupant sur deux ou trois préoccupations majeures

- En définissant les objets qui constitueront la cible de l’évaluation (tel ou tel quartier)

Comment rendre évaluable les CUCS ? (2/6)

2) Créer un référentiel d’évaluation

4 étapes constituent la démarche de construction du référentiel :

2-1) mise en relation des éléments du diagnostic, des orientations stratégiques et des objectifs finaux

Comment rendre évaluable les CUCS ? (3/6)

2-2) Mise en perspective opérationnelle du diagnostic et des enjeux

Comment rendre évaluable les CUCS ? (4/6)

2-3) construction de l’arbre des objectifs du CUCS

Comment rendre évaluable les CUCS ? (5/6)

2-4) indentification des indicateurs

Choisir les bons indicateurs :

- La disponibilité : trouver des indicateurs qui soient renseignables

- La précision

- L’utilité : ne sert à rien d’avoir une batterie trop grande d’indicateurs, il suffit d’en choisir quelques uns, jugés les plus pertinents

Comment rendre évaluable les CUCS ? (6/6)

Il existe plusieurs types d’indicateurs :

- Les indicateurs de réalisations : ils servent à vérifier si les actions ont été ou non réalisées

- Les indicateurs de résultats : ils servent à identifier le produit immédiat d’une action ou d’une série d’actions.

- Les indicateurs d’impact : ils se rapportent aux objectifs finaux et aux orientations stratégiques du CUCS. Ils servent à mesurer les effets des programmes d’actions.

- Les indicateurs de contexte : ils servent à établir des constats sur la réalité locale, si possible en amont, puis en aval de l’action publique. Ils aident aussi à apporter des éléments de diagnostic sur le territoire

Comment conduire l’évaluation ? (1/3)

Une évaluation comprend différentes étapes, parce qu’elle comprend différents niveaux d’analyse qui correspondent eux à des temporalités différentes.

L’évaluation doit permettre de rassembler des éléments concernant à la fois :

- Le suivi : vérifier la mise en œuvre des actions et leurs réalisations concrètes (indicateur de suivi)

- L’observation : avoir des éléments d’information sur l’évolution des données sociologiques sur le territoire (indicateurs de contexte)

- L’évaluation des effets du CUCS : comprendre les effets sur le quartier (indicateur d’effet ou d’impact)

Comment conduire l’évaluation ? (2/3)

Comment conduire l’évaluation ? (3/3)

Plan de mise en œuvre de l’évaluation sur 3 ans (1/2)

Plan de mise en œuvre de l’évaluation sur 3 ans (1/2)

Préparer la mise en œuvre de l’évaluation 1) Mettre en place de suivi physique et financier Il s’agit de :

- Créer une fiche de suivi destinée à l’ensemble des opérateurs. Cette fiche doit être simple et facile à remplir.

- Le suivi de réalisation est fait par les opérateurs (associations) : ce sont eux qui savent quand, pour quel montant et comment ont été mises en place les actions.

- Cette fiche est remplie pour chaque action et chaque année.

- Il est important de communiquer avec les différents opérateurs sur l’utilité de ces fiches de suivi.

2) Choisir les indicateurs de suivi et d’effets

3) Mettre en place les coopérations nécessaires au recueil des indicateurs (CAF, INSEE, ADU…)

4) Mettre en place les modalités de recueil et d’analyse des données en interne

- Création de tableaux de bord

- Création d’un comité de suivi et de pilotage de l’évaluation

Exemple de fiche de suivi (1/2)

Exemple de fiche de suivi (2/2)

Piloter l’évaluation (1/3)

Piloter l’évaluation (2/3)

Piloter l’évaluation (3/3)

Associer les acteurs et les habitants à

l’évaluation (1/4)La participation des habitants constitue l’un des leitmotivs de la politique de la ville depuis son

origine.

Il s’agit de passer d’une logique de guichet à une logique de projet associant l’ensemble des

acteurs concernés.

Différents niveaux de participation des habitants :

Associer les acteurs et les habitants à l’évaluation (2/4)

Associer les acteurs et les habitants à l’évaluation (3/4)

Associer les acteurs et les habitants à l’évaluation (4/4)

Mobiliser les bonnes techniques pour l’enquête et pour la participation

Restituer les résultats

Les caractéristiques d’une bonne

évaluation

Établir un cahier des charges (1/6)

Établir un cahier des charges (2/6)

Établir un cahier des charges (3/6)

Les outils :

Établir un cahier des charges (4/6)

Établir un cahier des charges (5/6)

Établir un cahier des charges (6/6)