1

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

L’évaluation des L’évaluation des CUCSCUCS

RésO Villes

Rennes, le 7 mars 2008

Pré

sen

tati

on

du

7 m

ars

20

08

RésO

Vill

es

2

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

SOMMAIRE

Éléments de cadrage >Le développement irréversible de l’évaluation

mais des freins encore puissants>L’évaluation un outil stratégique>Des pièges à éviter

Repères méthodologiques>La nécessité d’un référentiel>Le déroulement de l’évaluation

Cahier des charges

3

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Éléments de cadrage

4

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Le développement irréversible de l’évaluation

Grandes organisations d’aide au développement

Introduite en France dans les années 90 > M Rocard (rapport Viveret en 1989)

Union européenne > évaluation de programmes financés sur fonds structurels de

l’État (règlement de 1993)

La LOLF > 1ier août 2000

Politique de la ville> Circulaires du 31 août 1998 pour les contrats 94/99 et

des 24 mais & 15 septembre 2006 pour les contras 2007/2012

Secrétariat d’État > en charge de la prospective et de l’évaluation des

politiques publiques (E Besson)

5

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Un contexte favorable

La complexité croissante du contexte > Les interdépendances sont multiples (économique,

sociales…)

> Les choix sont multiples, décider devient plus difficile

Des acteurs nombreux et des partenariats systématiques > Leurs logiques respectives, les arbitrages sont

nécessaires

Des ressources rares > Les besoins se diversifient et augmentent, la priorité

doit être donnée aux choix les plus efficaces

6

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Des freins encore puissants

Méconnaissance > On lui reproche d’être trop lourde, trop coûteuse

Un facteur de perturbation politique > Perçu comme un jugement critique car le débat a

tendance, par nature, à se focaliser plus sur ce qui fâche que sur ce qui est consensuel

La culture de l’habitude > Logique de moyens et non de résultats

Corporatisme > Différentes sphères qui ne souhaitent pas forcément

établir des passerelles entre elles

7

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

L’évaluation, un outil stratégique

Ne pas confondre le « suivi » et l’évaluation > Suivi conformité > Évaluation jugement / remise en cause

Des potentialités considérables > Lieu de rapprochement entre sciences et action> Support de la mémoire collective et de construction

d’une culture commune> Outil de démocratie locale> Processus d’apprentissage dans l’action> Levier de changement

8

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Pas de one best way mais un « art de faire »

Faire à chaque fois du « sur mesure »

Il en faut pour tous les «goûts »

Rarement dans le champ de l’analyse mais dans l’exigence absolu de la synthèse

La capacité à avancer dans le terrain miné ; des intérêts contradictoires

La capacité à déchiffrer le langage des acteurs

9

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Évaluer c’est juger Les pièges à éviter

Un jugement de valeur = un pouvoir et un risque

Des principes de base à respecter pour une évaluation

> Principes de compétence> Principe de distanciation> Principe de pluralité> Principe de responsabilité > Principe d’opportunité > Principe de respect des personnes > Principes de transparence

10

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Repères méthodologiques

11

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

La nécessité d’un « référentiel »

La (re)constitution de l’arbre logique

L’identification d’indicateurs

Le système d’acteurs

12

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

La gestion du cycle du projet Analyse des objectifs

Objectif spécifique

Résultats attendus

Activités

Analyse des problèmes Effet

Causes

Logique d'intervention IOV Sources de vérification hypothèses

Objectifs globaux

Objectifs spécifiques

Résultats

Activités Moyens Coûts

Conditions préalables

13

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

L’identification d’indicateurs

Évaluer par rapport à quoi ? > État des lieu au démarrage du projet temps « T0 »> Dispositif d’observation et de recueil de données

Type d’indicateurs (mesure du quantitatif)> De suivi : réalisation / résultats > D’effets ou d’impact

> De contexte pour établir des comparaison

Choix des « bons indicateurs> Disponibilité > Précision> Utilité

14

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Le système d’acteurs

Financeurs

Bénéficiaires

Opérateurs

Fonctionnement souhaitable ?

Type de relations attendues, partenariats ?

15

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Le déroulement de l’évaluation

Phase de lancement (évaluer pourquoi ?) Rédaction du cahier des charges

Phase de constat (évaluer quoi ?) Modalités de recueil des données

Phase de jugement (évaluer par rapport à quoi ?)

Questions évaluatives

Phase de restitution évaluer pour produire quoi ?)

Recommandations

16

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Conditions de réussite

La qualité de la commande

Implication des destinataires de l’étude

La pertinence des méthodes

17

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

La phase de lancement rédaction

du cahier des charges

Le type de démarche souhaitée et le dispositif de suivi de l’évaluation

La temporalité de l’évaluation ; à quel étapes du cycle du projet ?

Les champs de l’évaluation & les questions évaluatives

18

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Type de dispositif Les élus

> Leur donner la 1ière place, celle de la décision

Les techniciens > Ne pas se priver de leur expertise

Les habitants > Il est important de pouvoir prendre en compte leur

point de vue « décalé »

Acteurs Motivations Produits attendus

Quels sont leurs objectifs respectifs par rapport à l’évaluation ?

Les retombées qu’ils en attendent (à mettre en rela-tion avec les moyens affec-tés, en nombre de jours notamment)

19

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

temporalité

Évaluer quand ?

Evaluation ex post

Evaluation à mi-parcourt

Cycle du projet

Diagnostic de la

situation

Définition de la

stratégie

Financement

Mise en œuvre du

projet

Evaluation ex ante

Achèvement du projet

20

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Champs de l’évaluation

Choisir des priorités

Questions évaluatives

Champs à évaluer champs

21

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

La phase de constat Modalités de recueil de données

L’exploitation documentaire

L’observation directe

L’enquête : repérer les tendance

Les entretiens individuels : recueillir des ressentis

Les réunions collectives ; entretiens pied d’immeuble ; micro-trottoir ; entretien-charade » : repérer des réseaux

Le focus-group : repérer des opinion collective

L’étude de cas : comprendre des effets

Le suivi de cohorte : comprendre des évolutions

22

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

La phase de jugement

Les grands critères d’évaluation

Efficience

Impact

Cohérence interne

Efficacité

Pertinence

Contexte Problème à résoudre

Méthodes

Résultats

Moyens Objectifs

23

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

La phase de restitution formulation de recommandations

A partir des résultats, comprendre pourquoi et comment cela a été possible

Pour proposer des améliorations de l’action publique

Idéalement à cette étape, le commanditaire prend des décision

24

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Merci pour votre attentionMerci pour votre attention

Magistère de sciences sociales Paris V - Sorbonne14 décembre 2007

Pré

sen

tati

on

du

14

/12

/20

07

Pari

s V

- S

orb

onn

e

25

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Cahier des charges d’une évaluation (1)

Introduction (résumé du document) – Objet de l ’étude – Raisons pour lesquelles elle est menée – Nature de l’évaluation – Dispositif de pilotage pour l’évaluation – Mentionner éventuellement le budget affecté à cette étude

1ière partie : Rappel du "référentiel" et du contexte de l'évaluation

Présentation succincte du CUCS / Le "référentiel" – Le contexte – L'état d’avancement & situation actuelle du projet

Le système d'acteurs Arbre logique (& indicateurs)

Finalités et enjeux de l'évaluation – Motifs de l'évaluation (pourquoi maintenant ?) Les champs couverts (thèmes à traiter & niveaux d'analyse et/ou territoires) – Les objectifs stratégiques et opérationnels (qu'est ce qu'on attend de l'évaluation ?)

26

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Cahier des charges d’une évaluation (2)

2ème partie : Contenu de l'évaluation

Questions évaluatives Priorités données à l'étude et niveau d'analyse souhaité Formulation de questions explicites (nombre de questions raisonnable par rapport au

temps et aux moyens affectés à l'étude)

Type de démarche Méthodologie souhaitée : participative ou pas

Modalités de recueil de données

Formuler les suggestions sur l’approche de l’étude – Indiquer les principales organisations et personnes ressources à consulter – Répertorier documentation disponible ainsi que les études précédentes à consulter Proposer une méthode pour la collecte des données (y compris la manière de contacter

les bénéficiaires

27

Él é

ments

de m

éth

ode s

ur

l’évalu

ati

on

Pré

sen

tati

on

du

7/0

3/2

00

8R

ésO

Vill

es

Cahier des charges d’une évaluation (3)

3ème partie : structure & déroulement de l'évaluation

Dispositif de suivi Expliquer quel sera le dispositif de suivi de l'évaluation : instance d'évaluation ou comité

technique et composition

Plan de travail / déroulement Durée & calendrier détaillé pour l’étude : phasage Restitutions & produits attendus : spécifier les types de rapport (de démarrage, de fin

de mission, aide-mémoire, final) ; leur la date de livraison, leur niveau de confiden-tialité ; le nombre de copies et les destinataires des rapports

Dispositions diverses Compétences requises : Décrire les compétences, qualifications, expériences et les cri-

tères de sélection des offres Budget alloué