C E N T R E E U R O P É E N D ’ E X P E R T I S E E T D’ É V A L U A T I O N

Mission de capitalisation et de mise en place d’une méthodologie d’évaluation

• Mission Égalité

Lyon, le 22 février 2008

2

Rappel des objectifs

Rapport de mission

1. Capitalisation■ Nos propositions

■ Les métiers de la Mission Égalité

■ La logique d’action de la Mission Égalité

2. Évaluation■ a. « Évaluation-certification » des opérateurs

accompagnés dans la mise en place d’une démarche intégrée

■ b. Évaluation de l’intervention de la Mission Égalité

Mission Egalité

Ordre du jour

3

Capitalisation■ « S’appuyer sur un regard extérieur pour mieux saisir

et rationaliser l’ensemble des modes et champs d'interventions » de la mission Égalité

■ « Capitaliser, modéliser et mieux communiquer la politique publique de LCD et d’égalité des chances conduite par la Ville de Lyon »

Évaluation■ « Envisager un mode d’évaluation des impacts de ses

actions d’accompagnement auprès des différents opérateurs partenaires engagés »

■ « Doter la mission égalité d’un référentiel d’évaluation sur ses activités »

Mission Egalité

Rappel des objectifs

4

Analyse documentaire

Réalisation des entretiens■ 17 entretiens réalisés :

Services Ville de Lyon : DDT, DGA, MICASEP, DGRH

Conseil municipal et cabinet du Maire Ville de Lyon

Conseil scientifique, GIPIV

Partenaires : ALLIES, ARCAD, Grand Lyon

Opérateurs PLIE

Synthèse et analyse

Proximité et écoute

Mission Egalité

Rapport de mission

C E N T R E E U R O P É E N D ’ E X P E R T I S E E T D’ É V A L U A T I O N

Capitalisation

• Mission de capitalisation et de mise en place d’une méthodologie d’évaluation – Mission Égalité

6

Propositions

Capitalisation

Réalisations de la Mission Égalité■ Distinguer une action de démarche intégrée aux

politiques publiques et une action de démarche intégrées au sein des structures

■ Distinguer deux types de « produits » de formation : « formation - accompagnement » et « formation - à la carte »

Champ des types de discrimination couverts par la Mission Égalité

■ Instabilité sémantique et divergences stratégiques

■ Construction nécessaire d’une position claire et partagée

7

Propositions

Capitalisation

■ Construction nécessaire d’une position claire et partagée- Une position affichant un traitement de l’ensemble des types de discriminations (inhérent aux principes adoptés de la démarche intégrée) et définissant 3 priorités valables pour un terme déterminé (ex. : 3 ans).- Une matrice croisant les champs investis et les types de discrimination à traiter de façon prioritaire (l’exemple qui suit propose des priorités purement fictives).

Emploi/insertion Logement Éducation …

« Ethno-raciales »

XX X X

Genre X X XX

Handicap X XX XX

« Socio-spatiales »

XX X

…

8Capitalisation

Réalisations et métiers de la Mission Égalité

Prestataire expert d’une offre d’accompagnement

Impulseur de projet avec des partenaires LCD / concernés

Coordinateur, créateur de dialogue et de dynamique sur le territoire en contact avec le tissu économique et social

Expertise

Projets

Dialogue

1. Formation - à la carte

2. Intégration d’une démarche intégrée de LCD dans les politiques publiques

3. Accompagnement des structures à la mise en place d’une démarche intégrée de LCD

4. Mise en place d’un dispositif local d’identification et de traitement des discriminations

5. Animation de groupes de travail partenariaux

Typologie des réalisations MétiersAcquis capitalisables

9

■ Distingue et articule :Les réalisations produites grâce aux activités mises en œuvre par la Mission Égalité

Les résultats, conséquences directes des réalisations

Les impacts spécifiques escomptés, conséquences à moyen ou long termes des résultats

Les impacts globaux escomptés qui sont la véritable raison d’être de la politique

■ Validation de la logique d’action nécessaire pour :Situer les réalisations de façon dynamique, en rapport avec des objectifs

Capitalisation

Logique d’action de la Mission Egalité

Animation de groupes de

travail partenariaux

La cohésion sociale et

économique se renforce

Réalisations Résultats Impacts spécifiques Impacts globaux

Mise en place d’un dispositif

local de traitement des discriminations

Accompagnement des

structures à la mise en place

d’une démarche intégrée

Les risques de discriminations

diminuent

Le traitement des

discriminations existantes s’améliore

Les acteurs partagent

des connaissances

sur la LCD

Les opérateurs adoptent une

gestion interne conforme à la

LCD

Les acteurs socio-

économiques du territoire se mobilisent autour de

projets de LCD

Actions de formation - à la carte

(produit d’appel)

Promotion d’une démarche

intégrée aux politiques publiques

Les opérateurs s’engagent dans une DI

de LCD

Les politiques publiques

intègrent les principes de LCD

C E N T R E E U R O P É E N D ’ E X P E R T I S E E T D’ É V A L U A T I O N

Évaluation a. des opérateurs accompagnées b. de l’intervention de la Mission Égalité

• Mission de capitalisation et de mise en place d’une méthodologie d’évaluation – Mission Égalité

12

Commande initiale■ « Envisager un mode d’évaluation des impacts de ses actions

d’accompagnement auprès des différents opérateurs partenaires engagés ».

■ Étudier la perspective d’une « certification » de ces opérateurs.

Propositions■ Évaluer les impacts de ses actions d’accompagnement lors de

l’évaluation de l’intervention de la Mission Égalité portant sur des question d’efficacité et de de valeur ajoutée et envisagée à moyen-long terme.

■ Doter la Mission Égalité d’un outil de suivi-évaluation directement lié aux plans d’actions mis en œuvre par les opérateurs.

■ Lier la phase d’évaluation à l’accès à une Charte de LCD.

Évaluation (a)

a. Évaluation des opérateurs accompagnés

13Évaluation (a)

Attentes

14

Principes■ Articulation étroite aux rubriques du plan d’action :

repérage, traitement, changements des pratiques, diffusion, (connaissance des concepts).

■ Détaille et met en relation : les actions mises en place, les outils et compétences mobilisés, les critères de réussite, les indices et indicateurs et le niveau à atteindre.

Modalités d’utilisation■ Point de suivi-évaluation concerté entre l’opérateur et la

Mission Égalité

■ Calendrier indicatif : n+3

■ Dans le cas d’une évaluation satisfaisante : proposition de signature d’une « Charte LCD »

Évaluation (a)

Outil de suivi-évaluation

15

Principes■ Articulation étroite aux rubriques du plan d’action :

Évaluation (a)

Exemple de fiche technique

16

Champ des possibles :

Proposition d’une Charte, dans le sens d’une déclaration d’engagements dont la mise en œuvre a été vérifiée et est avérée.

Prévient les risques d’un référentiel figé et lourd à manipuler ; relativise la mise en concurrence des opérateurs entre eux vis-à-vis de la Ville.

Évaluation (a)

Perspective de « certification »

Définition Type de contrôleÉléments

complémentaires

Certification

Procédure par laquelle une tierce partie, l’organisme certificateur, donne une assurance écrite qu’une organisation est conforme à des exigences spécifiées dans une norme ou un référentiel.

A priori – externe et indépendant

« Label Diversité » (GRH) en cours de constitution auprès de l’AFAQ-AFNOR.

Labellisation

Généralement le résultat d’un audit externe attestant « un niveau de qualité supérieure», un signe distinctif de qualité décerné par une autorité indépendante sur la base de critères ad hoc et explicites.

A posteriori – externe et indépendant

Doutes exprimés par les opérateurs sur la portée d’un « label » local

CharteL’adhésion à une charte est un engagement au respect de principes plus ou moins précis et faisant ou non l’objet d’un contrôle indépendant.

Possiblement a priori et/ou a posteriori

Souplesse de la formule : engagements pris ou pris et vérifiés

17

Objectifs■ Valoriser un engagement réussi dans la mise en place d’une

démarche intégrée de LCD : une évaluation satisfaisante donne le droit de signer et de se réclamer de la Charte.

Caractéristiques■ Évolutive : le nombre d’engagements respectés peut être

restreint au départ puis s’étoffer.

■ Ouverte : la formule Charte permet de rester ouvert sur d’autres engagements qualitatifs des opérateurs (vs accumulation de labels)

Évaluation (b)

Une Charte LCD

18

Conception■ Conception de la Charte en chambre (Mission Égalité et Conseil Scientifique)

■ Proposition à l’ensemble des opérateurs accompagnés lors d’une réunion de présentation – validation du texte approuvé

Modalités ■ Signature solennelle de la Charte

■ Mise à disposition d’un kit de communication (mise ne œuvre du droit de se réclamer de la Charte)

■ Récurrence de l’évaluation et possibilité de saisie de la ME en cas de non-application constatée de la Charte : possibilité de retrait du droit de se réclamer de la Charte

Apport complémentaire■ Permet de développer une logique « club » de signataires et/ou d’aspirants

signataires et de développer un réseau de bonnes pratiques autour d’un document commun

Évaluation (b)

Une Charte LCD

19

Commande initiale■ « Doter la mission égalité d’un référentiel d’évaluation sur

ses propres activités »

Les besoins connexes exprimés par les acteurs rencontrés

■ Mise en visibilité des réalisations et/ou des résultats

Proposition de rédaction d’un rapport d’activités

■ Mise en visibilité du phénomène discriminatoire

Projet d’Observatoire local des discrimination

Questionnement évaluatif■ Les questions de pertinence et de cohérence à privilégier à

court terme

■ Les questions d’efficacité et de valeur ajoutée à envisager à moyen-long terme

Évaluation (b)

b. Évaluation de l’intervention de la ME

20

Questionnement évaluatif

Évaluation (b)

Question 1■ Dans quelle mesure les actions menées par la Mission

Égalité sont-elles toujours en adéquation avec les problèmes rencontrés par les Lyonnais et les agents de la Ville compte tenu de l’évolution des enjeux ?

Question 2■ Dans quelle mesure les actions menées par la Mission

Égalité s’articulent-elles d’une façon suffisamment satisfaisante aux actions menées dans le cadre d’autres dispositifs (PLIE, CUCS, PLH, politique de la ville, plan GRH interne …) ?

21

Questionnement évaluatif

Évaluation (b)

Question 1 : Dans quelle mesure les actions menées par la Mission Égalité sont-elles toujours en adéquation avec les problèmes rencontrés par les Lyonnais et les agents de la Ville compte tenu de l’évolution des enjeux ?

Critère de réussite 1

Il n’existe pas de problème discriminatoire considéré comme prioritaire auquel ne correspond aucune intervention (problème orphelin).

Critère de réussite 2

Toutes les interventions de la Mission Égalité sont indispensables dans le sens où elles répondent à un ou plusieurs problèmes identifiés comme tels.

Critère de réussite 3

La hiérarchie des objectifs de la Mission Égalité correspond à la hiérarchie des problèmes.

Critère de réussite 4

La répartition de l’activité de la Mission selon les différentes types de réalisation correspond à la hiérarchie des objectifs.

22

Questionnement évaluatif

Évaluation (b)

Question 2 : Dans quelle mesure les actions menées par la Mission Égalité s’articulent-elles d’une façon suffisamment satisfaisante aux actions menées dans le cadre d’autres dispositifs (PLIE, CUCS, PLH, politique de la ville, plan GRH interne …) ?

Critère de réussite 1

Les interventions de la Mission Égalité sont un complément indispensable pour répondre aux problèmes discriminatoires dans le cadre des dispositifs existants sur lesquels elle s’appuie.

Critère de réussite 2

Les interventions de la Mission Égalité permettent de mettre en œuvre des actions plus adaptées dans le cadre des dispositifs existants sur lesquels elle s’appuie.

Critère de réussite 3

Les interventions de la Mission Égalité peuvent être décisives pour initier des actions LCD chez ses partenaires.

23

Indications méthodologiques

Évaluation (b)

Articulation avec le projet de mise en place d’un Observatoire local des discriminations

■ La définition et la collecte d’indicateurs à l’appui de la question de pertinence seront à produire, soit en amont des travaux de l’Observatoire, soit en collaboration avec lui ou encore en aval de ces travaux qui pourront alors constituer une base utile.

Mise à plat du système d’acteurs■ La Mission Égalité est financée par diverses institutions,

travaillent avec différents partenaires et mobilisent des acteurs de nature variée : elle se trouve donc au sein d’un système d’acteurs relativement complexe à clarifier impérativement préalablement à l’évaluation. (cf. sociogramme Euréval)

24

Constitution de l’instance d’évaluation

Évaluation (b)

Une instance d’évaluation■ Pluraliste :

■ Ouverte :

Proposition de composition■ Présidence : possibilité d’un membre du projet INTI-

Cities (Eurocities)

■ Représentation des décideurs : cabinet du maire et Conseil municipal

■ Représentation des opérateurs : DDT, DGA

■ Représentation des bénéficiaires finaux : Gipiv

25

Calendrier indicatif

Évaluation (b)

Les suggestions recueillies■ 2008 : début de mandat, période de configuration des

priorités

■ 2009 : échéance du CUCS, qui fera l’objet d’une évaluation finale

■ 2010 : mi-mandat, maturité suffisante pour aborder questions d’efficacité

Notre préconisation :■ …