Upload
marcellette-weiss
View
105
Download
1
Embed Size (px)
Citation preview
www.cirese.fr - 2007 1
Guy CAUQUIL - CIRESEGuy CAUQUIL - CIRESE
Michel NICOLET
Guide de l’évaluation locale des CUCS et note de cadrage
www.reseaupluralis.com
www.cirese.fr - 2007 2
EVALUER = ?
= APPRECIER LA VALEUR
Éthique, Politique ( Valeurs = projet de société, égalité, équité, compétivité, etc …)
Economique (Valeur = plus-value, bénéfice,..),
Budgétaire (Valeur = rapport coût-efficacité)
Satisfaction …des attentes, des intérêts (= autre type de Valeur)
= MESURER
Résultats constatés au regard des résultats attendus ( = efficacité )
Performance administrative (budget, mobilisation des moyens, LOLF)
Qualité (conformité à des normes, à des objectifs, … écarts à réduire)
= COMPRENDRE
Pourquoi et comment ça fonctionne
Quelles seraient les réponses les plus pertinentes
= FAIRE EVOLUER
www.cirese.fr - 2007 3
COMMENT ORGANISER
L’EVALUATION CONTINUE
d’un CUCS
1 – le référentiel d’évaluation
www.cirese.fr - 2007 4
Le référentiel d’évaluationLe référentiel d’évaluation
explicite les enjeux stratégiques du dispositif et les traduit en QUESTIONNEMENTS EVALUATIFS
explicite les RESULTATS ATTENDUS
identifie les diverses PARTIES PRENANTES et les intérêts en présence
Michel NICOLETwww.reseaupluralis.com
www.cirese.fr - 2007 5
11 -Les questionnements -Les questionnements évaluatifsévaluatifs
= le coeur du « = le coeur du « référentielréférentiel » » d’évaluationd’évaluation
évaluer, c’est bien plus que constater ou mesurer
c’est répondre à des questions qui semblent stratégiques aux pilotes de l’action publique (quelle valeur ? quelle utilité ? quelle efficacité? au profit de qui ? …etc..)
choisir deux ou trois questions évaluatives dans l’un des 7 registres de base de l’évaluation
Michel NICOLET www.reseaupluralis.com
www.cirese.fr - 2007 6
Les 7 registres de base de Les 7 registres de base de tout tout
questionnement évaluatif questionnement évaluatif
Michel NICOLET www.reseaupluralis.com
la cohérence
la pertinence
l’effectivité
l’efficacité
la faisabilité
l’efficience
l’attractivité
réalisations
Valeurs, finalités
Intérêts des diverses
parties prenantes
Besoins, diagnostic
résultats, impacts
modalités
Coûts/résultats/valeurs
www.cirese.fr - 2007 7
La nécessaire formalisation La nécessaire formalisation des résultats attendusdes résultats attendus
ne pas confondre RESULTATS et REALISATIONS
associer les opérateurs à la définition des résultats attendus (pourquoi ?)
vérifier la cohérence entre les RESULTATS ATTENDUS et la FINALITE des actions
(un outil = l’arbre des objectifs) Michel NICOLET www.reseaupluralis.com
www.cirese.fr - 2007 8
COMMENT ORGANISER
L’EVALUATION CONTINUE
d’un CUCS
2 - Les principaux conseils
de la note de cadrage du 5 juillet 2007
www.cirese.fr - 2007 9
la circulaire du 24 mai 2006
Prévoit deux modalités d’évaluation complémentaires :
- un bilan annuel de réalisation
- une évaluation des effets du CUCS au terme des trois premières années
insiste sur le fait que les contrats urbains de cohésion sociale (CUCS) doivent intégrer la préoccupation évaluative dès leur phase d’élaboration et, pour cela :
- formuler des objectifs et des résultats attendus qui soient évaluables.
la circulaire du 15 septembre 2006
www.cirese.fr - 2007 10
la note de cadrage DIV du 5 juillet 2007 précise :
1. Que l’évaluation des CUCS devra se référer à la fois aux grands objectifs nationaux de la Politique de la Ville (loi Borloo –Août 2003) et aux objectifs des Projets locaux de cohésion sociale
2. Quelles seront les trois cibles de l’évaluation
3. Comment préparer l’évaluation
4. Comment mettre en œuvre l’évaluation
www.cirese.fr - 2007 11
1- se référer à la loi Borloo et aux finalités du projet local
11
Apprécier comment les contrats locaux contribuent aux évolutions des territoires prioritaires tels que définis par les indicateurs d’observation et d’évaluation de l’annexe 1 de la loi Borloo
Inscrire le CUCS dans une logique de Projet Territorial Global : ce qui supposera au final d’apprécier l’impact global de l’ensemble des dispositifs contractuels sur le territoire
S’inscrire dans une logique de résultat (ce que le CUCS a produit) et pas seulement dans une logique de réalisation (ce que le CUCS a fait ou financé)
www.cirese.fr - 2007 12
2 – les trois cibles de l’évaluation
1- L’évaluation de la mise en oeuvre des cinq programmes d’action (thématiques) et de leurs résultats
Un bilan annuel de réalisation (=ce qui a été fait et financé)La vérification des résultats attendus au bout de 3 ans
2- l’évaluation de l’impact du contrat lui-mêmeIdentifier et apprécier les changements structurels induits sur un site par la mise en œuvre du contrat (cf. les finalités de la loi Borloo)Appréciation globale des impacts de l’ensemble des dispositifs mobilisés par le CUCS (PRE, PRU, PLIE, CLS, etc..)
3- L’évaluation des pratiques et des façons de faire :La transversalité et le décloisonnement de l’action publiqueLa participation active des habitantsLes méthodes de conduite du projet CUCSLes effets du CUCS sur les politiques intercommunales
www.cirese.fr - 2007 13
3 – Comment préparer l’évaluation
Formaliser d’abord des objectifs évaluablesDéfinir des objectifs stratégiques (vers quoi veut-on aller)Les décliner en objectifs opérationnels (en agissant sur quels types de leviers)
Préciser ensuite les résultats attendus dans 3 ans pour chacun des objectifs stratégiques
Que veut-on voir changer et s’améliorer,…pour le quartier…pour tel ou telle catégorie d’habitants, …Ce qui suppose de préciser de quelle situation on part aujourd’hui (diagnostic, observation)Ce qui suppose de préciser les indicateurs de résultats ( à quels signes tangibles pourra-t-on concrètement observer que le résultat est atteint ou non ?)
Définir enfin les modalités d’actionsQuelles actions va-t-on mettre en œuvre pour atteindre ces résultats d’ici 3 ans (quelles actions, quels financements, quels dispositifs,… ?)Quels vont être les pilotes et les opérateurs (qui va faire quoi ?)
www.cirese.fr - 2007 14
Développement économique, emploi,
insertion
Objectif
Stratégique n°5
Objectifs opérationnels
…en soutenant l’offre d’insertion par l’activité économique
…en Créant de nouveaux chantiers et/ou ateliers d’insertion
Renforcer l’ accompagnement
individuel des demandeurs
d’emploi
…en recentrant les réseaux de parrainage
…en recentrant le dispositif Contrat d’Insertion dans la Vie Sociale (CIVIS) au bénéficie des jeunes ZUS…en renforçant les prestations ANPE au service des publics en ZUS
…en poursuivant la mise en œuvre des prestations ANPE spécifiques (« objectifs placements » pour les diplômés, « évaluation jeunes »
Résultats attendus = ?
Segment d’un arbre des objectifs :
www.cirese.fr - 2007 15
Développement économique, emploi, insertion
Objectif
Stratégique n°5
Objectifs opérationnels
…en soutenant l’offre d’insertion par l’activité économique
…en Créant de nouveaux chantiers et/ou ateliers d’insertion
Renforcer l’accompagne-
ment individualisé
des demandeurs
d’emploi
…en recentrant les réseaux de parrainage
…en recentrant le dispositif Contrat d’Insertion dans la Vie Sociale (CIVIS) au bénéficie des jeunes ZUS…en renforçant les prestations ANPE au service des publics en ZUS
Sur l’ensemble des ZUS, 1200 jeunes sans emploi de moins de 25 ans200 demandeurs d’emploi handicapés500 adultes de + 25 ans et DE de + 2 ans auront bénéficié d’un accompagnement individualisé vers l’emploi d’une durée d’au moins un an d’ici fin 2009, dans l’un des dispositifs d’accompagnement existant
…en poursuivant la mise en œuvre des prestations ANPE spécifiques (« objectifs placements » pour les diplômés, « évaluation jeunes »
Résultats attendus dans 3 ans (ex.)
www.cirese.fr - 2007 16
4 – Comment mettre en oeuvre l’EVALUATION
16
Une évaluation continue est souhaitable (car elle contribue au pilotage continu du projet)
L’évaluation sera participative et associera toutes les parties prenantes (institutions signataires, opérateurs, habitants) (car l’évaluation est une pratique démocratique)
L’évaluation associera les pilotes (politiques et techniques) du projet et des personnalités extérieures dans une instance d’évaluation (car une évaluation suppose un minimum d’extériorité)
L’évaluation s’appuiera sur les bilan annuels de réalisation, sur la mesure des résultats (selon les délais décidés) et sur l’appréciation globale des impacts sur les quartiers (au bout de trois ans) (les bilans annuels ne constituent pas à eux seuls une évaluation)
www.cirese.fr - 2007 17
Comment mettre en œuvre l’évaluation :
quelques recommandations
centrer l’évaluation sur les deux ou trois enjeux stratégiques du territoire qui sont repris parmi les axes prioritaires du CUCS.
bien distinguer ce qui relève de l’observation (évolution des quartiers) de ce qui relève du suivi (bilan physique et financier) et de l’évaluation (mesure des résultats et des effets produits par les actions).
préciser les modalités de gouvernance de l’évaluation, articulée avec la gouvernance du CUCS : instituer pour cela une instance d’évaluation distincte du comité de pilotage du CUCS.
expliciter les principaux questionnements évaluatifs, en amont de l’évaluation.
www.cirese.fr - 2007 18
Comment mettre en oeuvre l’évaluation :
quelques recommandations (suite)
construire collectivement les critères et indicateurs d’évaluation avec les partenaires signataires puis avec les opérateurs.
établir un rapide état des lieux à l’instant « t0 » (démarrage du CUCS) sur chacun des axes d’intervention du CUCS, afin de pouvoir apprécier ses résultats et ses impacts à trois ans puis à 6 ans.
s’appuyer pour l’évaluation sur les outils de suivi (tableaux de bord régionaux) et d’observation territoriale (observatoires) qui existent déjà ; sinon, faire de leur création l’un des objectifs méthodologique du CUCS (« on ne peut pas piloter en aveugle » ).
prévoir dès l’amont les modalités de diffusion et de débat autour des conclusions et des préconisations de l’évaluation continue du CUCS afin que celle-ci contribue au pilotage stratégique du CUCS .