C E N T R E E U R O P É E N D ’ E X P E R T I S E E T D’ É V A L U A T I O N
Mission de capitalisation et de mise en place d’une méthodologie d’évaluation
• Mission Égalité
Lyon, le 22 février 2008
2
Rappel des objectifs
Rapport de mission
1. Capitalisation■ Nos propositions
■ Les métiers de la Mission Égalité
■ La logique d’action de la Mission Égalité
2. Évaluation■ a. « Évaluation-certification » des opérateurs
accompagnés dans la mise en place d’une démarche intégrée
■ b. Évaluation de l’intervention de la Mission Égalité
Mission Egalité
Ordre du jour
3
Capitalisation■ « S’appuyer sur un regard extérieur pour mieux saisir
et rationaliser l’ensemble des modes et champs d'interventions » de la mission Égalité
■ « Capitaliser, modéliser et mieux communiquer la politique publique de LCD et d’égalité des chances conduite par la Ville de Lyon »
Évaluation■ « Envisager un mode d’évaluation des impacts de ses
actions d’accompagnement auprès des différents opérateurs partenaires engagés »
■ « Doter la mission égalité d’un référentiel d’évaluation sur ses activités »
Mission Egalité
Rappel des objectifs
4
Analyse documentaire
Réalisation des entretiens■ 17 entretiens réalisés :
Services Ville de Lyon : DDT, DGA, MICASEP, DGRH
Conseil municipal et cabinet du Maire Ville de Lyon
Conseil scientifique, GIPIV
Partenaires : ALLIES, ARCAD, Grand Lyon
Opérateurs PLIE
Synthèse et analyse
Proximité et écoute
Mission Egalité
Rapport de mission
C E N T R E E U R O P É E N D ’ E X P E R T I S E E T D’ É V A L U A T I O N
Capitalisation
• Mission de capitalisation et de mise en place d’une méthodologie d’évaluation – Mission Égalité
6
Propositions
Capitalisation
Réalisations de la Mission Égalité■ Distinguer une action de démarche intégrée aux
politiques publiques et une action de démarche intégrées au sein des structures
■ Distinguer deux types de « produits » de formation : « formation - accompagnement » et « formation - à la carte »
Champ des types de discrimination couverts par la Mission Égalité
■ Instabilité sémantique et divergences stratégiques
■ Construction nécessaire d’une position claire et partagée
7
Propositions
Capitalisation
■ Construction nécessaire d’une position claire et partagée- Une position affichant un traitement de l’ensemble des types de discriminations (inhérent aux principes adoptés de la démarche intégrée) et définissant 3 priorités valables pour un terme déterminé (ex. : 3 ans).- Une matrice croisant les champs investis et les types de discrimination à traiter de façon prioritaire (l’exemple qui suit propose des priorités purement fictives).
Emploi/insertion Logement Éducation …
« Ethno-raciales »
XX X X
Genre X X XX
Handicap X XX XX
« Socio-spatiales »
XX X
…
8Capitalisation
Réalisations et métiers de la Mission Égalité
Prestataire expert d’une offre d’accompagnement
Impulseur de projet avec des partenaires LCD / concernés
Coordinateur, créateur de dialogue et de dynamique sur le territoire en contact avec le tissu économique et social
Expertise
Projets
Dialogue
1. Formation - à la carte
2. Intégration d’une démarche intégrée de LCD dans les politiques publiques
3. Accompagnement des structures à la mise en place d’une démarche intégrée de LCD
4. Mise en place d’un dispositif local d’identification et de traitement des discriminations
5. Animation de groupes de travail partenariaux
Typologie des réalisations MétiersAcquis capitalisables
9
■ Distingue et articule :Les réalisations produites grâce aux activités mises en œuvre par la Mission Égalité
Les résultats, conséquences directes des réalisations
Les impacts spécifiques escomptés, conséquences à moyen ou long termes des résultats
Les impacts globaux escomptés qui sont la véritable raison d’être de la politique
■ Validation de la logique d’action nécessaire pour :Situer les réalisations de façon dynamique, en rapport avec des objectifs
Capitalisation
Logique d’action de la Mission Egalité
Animation de groupes de
travail partenariaux
La cohésion sociale et
économique se renforce
Réalisations Résultats Impacts spécifiques Impacts globaux
Mise en place d’un dispositif
local de traitement des discriminations
Accompagnement des
structures à la mise en place
d’une démarche intégrée
Les risques de discriminations
diminuent
Le traitement des
discriminations existantes s’améliore
Les acteurs partagent
des connaissances
sur la LCD
Les opérateurs adoptent une
gestion interne conforme à la
LCD
Les acteurs socio-
économiques du territoire se mobilisent autour de
projets de LCD
Actions de formation - à la carte
(produit d’appel)
Promotion d’une démarche
intégrée aux politiques publiques
Les opérateurs s’engagent dans une DI
de LCD
Les politiques publiques
intègrent les principes de LCD
C E N T R E E U R O P É E N D ’ E X P E R T I S E E T D’ É V A L U A T I O N
Évaluation a. des opérateurs accompagnées b. de l’intervention de la Mission Égalité
• Mission de capitalisation et de mise en place d’une méthodologie d’évaluation – Mission Égalité
12
Commande initiale■ « Envisager un mode d’évaluation des impacts de ses actions
d’accompagnement auprès des différents opérateurs partenaires engagés ».
■ Étudier la perspective d’une « certification » de ces opérateurs.
Propositions■ Évaluer les impacts de ses actions d’accompagnement lors de
l’évaluation de l’intervention de la Mission Égalité portant sur des question d’efficacité et de de valeur ajoutée et envisagée à moyen-long terme.
■ Doter la Mission Égalité d’un outil de suivi-évaluation directement lié aux plans d’actions mis en œuvre par les opérateurs.
■ Lier la phase d’évaluation à l’accès à une Charte de LCD.
Évaluation (a)
a. Évaluation des opérateurs accompagnés
13Évaluation (a)
Attentes
14
Principes■ Articulation étroite aux rubriques du plan d’action :
repérage, traitement, changements des pratiques, diffusion, (connaissance des concepts).
■ Détaille et met en relation : les actions mises en place, les outils et compétences mobilisés, les critères de réussite, les indices et indicateurs et le niveau à atteindre.
Modalités d’utilisation■ Point de suivi-évaluation concerté entre l’opérateur et la
Mission Égalité
■ Calendrier indicatif : n+3
■ Dans le cas d’une évaluation satisfaisante : proposition de signature d’une « Charte LCD »
Évaluation (a)
Outil de suivi-évaluation
15
Principes■ Articulation étroite aux rubriques du plan d’action :
Évaluation (a)
Exemple de fiche technique
16
Champ des possibles :
Proposition d’une Charte, dans le sens d’une déclaration d’engagements dont la mise en œuvre a été vérifiée et est avérée.
Prévient les risques d’un référentiel figé et lourd à manipuler ; relativise la mise en concurrence des opérateurs entre eux vis-à-vis de la Ville.
Évaluation (a)
Perspective de « certification »
Définition Type de contrôleÉléments
complémentaires
Certification
Procédure par laquelle une tierce partie, l’organisme certificateur, donne une assurance écrite qu’une organisation est conforme à des exigences spécifiées dans une norme ou un référentiel.
A priori – externe et indépendant
« Label Diversité » (GRH) en cours de constitution auprès de l’AFAQ-AFNOR.
Labellisation
Généralement le résultat d’un audit externe attestant « un niveau de qualité supérieure», un signe distinctif de qualité décerné par une autorité indépendante sur la base de critères ad hoc et explicites.
A posteriori – externe et indépendant
Doutes exprimés par les opérateurs sur la portée d’un « label » local
CharteL’adhésion à une charte est un engagement au respect de principes plus ou moins précis et faisant ou non l’objet d’un contrôle indépendant.
Possiblement a priori et/ou a posteriori
Souplesse de la formule : engagements pris ou pris et vérifiés
17
Objectifs■ Valoriser un engagement réussi dans la mise en place d’une
démarche intégrée de LCD : une évaluation satisfaisante donne le droit de signer et de se réclamer de la Charte.
Caractéristiques■ Évolutive : le nombre d’engagements respectés peut être
restreint au départ puis s’étoffer.
■ Ouverte : la formule Charte permet de rester ouvert sur d’autres engagements qualitatifs des opérateurs (vs accumulation de labels)
Évaluation (b)
Une Charte LCD
18
Conception■ Conception de la Charte en chambre (Mission Égalité et Conseil Scientifique)
■ Proposition à l’ensemble des opérateurs accompagnés lors d’une réunion de présentation – validation du texte approuvé
Modalités ■ Signature solennelle de la Charte
■ Mise à disposition d’un kit de communication (mise ne œuvre du droit de se réclamer de la Charte)
■ Récurrence de l’évaluation et possibilité de saisie de la ME en cas de non-application constatée de la Charte : possibilité de retrait du droit de se réclamer de la Charte
Apport complémentaire■ Permet de développer une logique « club » de signataires et/ou d’aspirants
signataires et de développer un réseau de bonnes pratiques autour d’un document commun
Évaluation (b)
Une Charte LCD
19
Commande initiale■ « Doter la mission égalité d’un référentiel d’évaluation sur
ses propres activités »
Les besoins connexes exprimés par les acteurs rencontrés
■ Mise en visibilité des réalisations et/ou des résultats
Proposition de rédaction d’un rapport d’activités
■ Mise en visibilité du phénomène discriminatoire
Projet d’Observatoire local des discrimination
Questionnement évaluatif■ Les questions de pertinence et de cohérence à privilégier à
court terme
■ Les questions d’efficacité et de valeur ajoutée à envisager à moyen-long terme
Évaluation (b)
b. Évaluation de l’intervention de la ME
20
Questionnement évaluatif
Évaluation (b)
Question 1■ Dans quelle mesure les actions menées par la Mission
Égalité sont-elles toujours en adéquation avec les problèmes rencontrés par les Lyonnais et les agents de la Ville compte tenu de l’évolution des enjeux ?
Question 2■ Dans quelle mesure les actions menées par la Mission
Égalité s’articulent-elles d’une façon suffisamment satisfaisante aux actions menées dans le cadre d’autres dispositifs (PLIE, CUCS, PLH, politique de la ville, plan GRH interne …) ?
21
Questionnement évaluatif
Évaluation (b)
Question 1 : Dans quelle mesure les actions menées par la Mission Égalité sont-elles toujours en adéquation avec les problèmes rencontrés par les Lyonnais et les agents de la Ville compte tenu de l’évolution des enjeux ?
Critère de réussite 1
Il n’existe pas de problème discriminatoire considéré comme prioritaire auquel ne correspond aucune intervention (problème orphelin).
Critère de réussite 2
Toutes les interventions de la Mission Égalité sont indispensables dans le sens où elles répondent à un ou plusieurs problèmes identifiés comme tels.
Critère de réussite 3
La hiérarchie des objectifs de la Mission Égalité correspond à la hiérarchie des problèmes.
Critère de réussite 4
La répartition de l’activité de la Mission selon les différentes types de réalisation correspond à la hiérarchie des objectifs.
22
Questionnement évaluatif
Évaluation (b)
Question 2 : Dans quelle mesure les actions menées par la Mission Égalité s’articulent-elles d’une façon suffisamment satisfaisante aux actions menées dans le cadre d’autres dispositifs (PLIE, CUCS, PLH, politique de la ville, plan GRH interne …) ?
Critère de réussite 1
Les interventions de la Mission Égalité sont un complément indispensable pour répondre aux problèmes discriminatoires dans le cadre des dispositifs existants sur lesquels elle s’appuie.
Critère de réussite 2
Les interventions de la Mission Égalité permettent de mettre en œuvre des actions plus adaptées dans le cadre des dispositifs existants sur lesquels elle s’appuie.
Critère de réussite 3
Les interventions de la Mission Égalité peuvent être décisives pour initier des actions LCD chez ses partenaires.
23
Indications méthodologiques
Évaluation (b)
Articulation avec le projet de mise en place d’un Observatoire local des discriminations
■ La définition et la collecte d’indicateurs à l’appui de la question de pertinence seront à produire, soit en amont des travaux de l’Observatoire, soit en collaboration avec lui ou encore en aval de ces travaux qui pourront alors constituer une base utile.
Mise à plat du système d’acteurs■ La Mission Égalité est financée par diverses institutions,
travaillent avec différents partenaires et mobilisent des acteurs de nature variée : elle se trouve donc au sein d’un système d’acteurs relativement complexe à clarifier impérativement préalablement à l’évaluation. (cf. sociogramme Euréval)
24
Constitution de l’instance d’évaluation
Évaluation (b)
Une instance d’évaluation■ Pluraliste :
■ Ouverte :
Proposition de composition■ Présidence : possibilité d’un membre du projet INTI-
Cities (Eurocities)
■ Représentation des décideurs : cabinet du maire et Conseil municipal
■ Représentation des opérateurs : DDT, DGA
■ Représentation des bénéficiaires finaux : Gipiv
25
Calendrier indicatif
Évaluation (b)
Les suggestions recueillies■ 2008 : début de mandat, période de configuration des
priorités
■ 2009 : échéance du CUCS, qui fera l’objet d’une évaluation finale
■ 2010 : mi-mandat, maturité suffisante pour aborder questions d’efficacité
Notre préconisation :■ …