Comment évaluer les projets?

Valérie Pattyn

Institut de la Gestion publique, K.U. Leuven

Semaine de la Sécurité intégrale - 27 juin 2011

2

1. Qu’entend-on (ou non) par évaluation de la politique?

2. Pourquoi évaluer et quand?

3. Anticiper une évaluation de projet: Conditions connexes pour l’évaluabilité

Questions et critères d’évaluation Théorie politique Infrastructure de monitoring Capacité / Culture

Objectif de la présentation

3

“La détermination de la valeur (‘mérite’) de l’objet de l’évaluation” (M. Scriven)

• Evaluation informelle versus formelle. • Processus structuré/systématique – Mise en œuvre de

méthodes et techniques: – Question d’évaluation + Critère d’évaluation– Collecte des données– Analyse des données– Evaluation

Evaluat° de la politique – qqs caractéristiques

4

“Politique” = ?

• Mesure• Train de mesures • Projet (exemple: Projet s’attaquant au vol de vélos)• Programme

Evaluation de la politique

Prévention Oter la cause structurelle du vol

- Améliorat° des possibilités de stationnement cycliste- En promouvoir l’utilisation

Préparation Préparation à la lutte contre le vol

- Gravure de vélos

Répression Le vol est sanctionné - Encourager la déclaration- Contrôle et maintien

5

Evaluation de la politique: délimitation

Audit Contrôle Oui (Oui) Oui Oui (Non) (Non) Non

Mesure des prestatos

/MonitoringSuivi

Oui Oui Oui Oui (Oui) (Oui) NonEvaluation de la politique

Déterminer la valeur (mérite) Oui Non Oui Oui Oui Oui Oui

But Global Permanent Attribution causale

Portée du processus

Portée de l'output

Portée de l'effet

Portée de l'impact

(Widmer, 2005)

A l’égard d’autres fonctions appuyant la politique et la gestion

6

MOTIFS pour évaluer une politique:

• Soutenir le planning stratégique• Améliorer la mise en œuvre de la politique et contribuer au

développement institutionnel des organisations concernées• Assumer la responsabilité par rapport aux résultats de la

politique et aux moyens déployés• Apprentissage politique: la réponse à la question de savoir

pourquoi et comment la politique est réussie ou non

“The purpose of an evaluation conditions the use that can be expected of it”

(Chelimsky, 1997)

Pourquoi évaluer?

7

Wanneer evalueren?Quand évaluer?

Tôt dans le projet Projet en vitesse de croisière Fin du projet

• Résoudre les "maladies infantiles" 

• Identifier à temps les gros problèmes et les éliminer (avant que le projet n’atteigne sa vitesse de croisière)

• Examiner et résoudre l’insatisfaction chez les intéressés (surtout le groupe cible)• Vérifier la qualité de la mise en œuvre • Réaliser des améliorations à long terme

• Voir dans quelle mesure il est possible de déjà détecter des effets• Examiner quels sont les effets possibles et/ou réalisés du projet

Résoudre les problèmes

Résoudre les problèmes/assumer la responsabilité/apprendre

Assumer la responsabilité/apprendre

Test sur l’évaluabilité: “Evaluability Assessment”– Attention accordée à l’évaluabilité organisationnelle et sur

le fond de la question d’évaluation– “Est-il possible (cf. conditions connexes) de suivre et

d’évaluer la politique (ex ante / intermédiaire / ex post)?”

– = forme particulière d’évaluation ex ante

Lancer l’évaluation? Oui/NonPortée de l’évaluation?

Anticiperen op een projectevaluatieAnticiper une évaluation de projet

Evaluabilité: conditions connexes

9

1. Consensus questions d’évaluation / critères d’évaluation?

2. Théorie politique?3. Indicateurs fiables et valides?4. Capacité d’évaluation et culture

d’évaluation?

(1) Consensus questions/critères d’évaluation

• Consensus des questions d’évaluation entre les différentes parties prenantes?

• Nature des questions (description, prédiction,...)?• Une bonne question d’évaluation ne comprend

qu’un seul critère d’évaluation.

10

11

Critères d’évaluation (traduction des termes NL: voir au bas de cette dia, dans la zone des commentaires)

(2) Théorie politique

• Explicitation de la théorie politique comme point de départ pour le ‘scopage’ de l’évaluation.

• Théorie politique?– Logique du projet– L’ensemble des présomptions que les décideurs suivent

en élaborant et en mettant en œuvre une initiative politique concrète

– Souvent des raisonnements implicites, non exprimés. “Pourquoi ce projet-ci, en fait? Comment concevons-nous que ce projet-ci en particulier peut générer des résultats dans la société?”

12

(2) Théorie politique

– Une description, sur le fond, de l’initiative politique et de la manière dont celle-ci va atteindre des objectifs précis ou générera des effets (“Comment fonctionne la stratégie?”) = “Modèle causal du changement”

– Un jugement porté sur ce qui doit être fait pour réaliser ces objectifs (“Que doit-il se passer concrètement?”)

à la fois descriptif et prescriptif (Chen, 2005)

13

14

Présomptions descriptives: – Mécanismes causaux à la base d’un problème sociétal– Processus causaux grâce auxquels la politique fonctionne et le

changement social visé s’accomplit– Les déterminants: facteurs pertinents sur lesquels la politique doit se

focaliser pour produire les effets escomptés

Modèle du changement derrière la politique

Evaluation axée sur la théorie politique

15

Théorie politique: Modèle du changement derrière une initiative de projet

be le ids ac t ieo utput

o pe rat io ne le do e ls te l l ing

be le ids re s ul taate f fe c t & im pac t

s trate gis c he do e ls te l l ing

m atige nde var iable m atige nde var iable

tus s e nligge nde var iabe lede te rm inant

he fbo o m

modèle du changement

variable modératrice variable modératrice

action politique

objectif opérationnel objectif stratégique

résultat politique

effetvariable intermédiaire

déterminantlevier

16

Théorie politique reconstituée: Exemple

Promotion online de la brochure “Vacances sans souci”

Diminution des cambriolages pendant la période des vacances

Changement d’attitude des citoyens

Moins de nonchalance en quittant l’habitation

Variables modératrices:

Age du citoyen/Accès à Internet

Variable modératrice: bande de voleurs mise sous les verrous

(2) Théorie politique

• Un raisonnement solide derrière la politique augmente les chances de réussite.

• Objet de l’évaluation (“la politique est-elle mûrement réfléchie?”) et • Reconstitution de la théorie politique comme véhicule pour poser

les jalons de l’évaluation. – Attention accordée aux déterminants sur lesquels la politique peut agir.

– Attention consacrée aux éventuels effets secondaires.

– Gestion de la sélection des indicateurs pour le monitoring et techniques adaptées pour la collecte de données.

17

(3) Monitoring et évaluation de la politique

• Relation monitoring et évaluation de la politique: Tandem

• Importance d’un système de monitoring adéquat• Fonction des indicateurs

= Indications de réalité= Représentation quantitative de la qualité/quantité de l’objet du mesurage= Descriptive, pas explicative!

Règles essentielles en établissant les indicateurs

• Faites usage de la théorie politique• Cherchez des pratiques de mesurage existantes• Impliquez les parties prenantes• Principe “SMART”:

– Spécificité: Indicateur a une relation de 1 sur 1 avec ce qui est mesuré

– Mesurable– Acceptable = convenu: consensus les entre parties prenantes– Réaliste: cf. la pertinence– Temporel: inscrit dans le temps (mais stable!)

• Analyse coûts-avantages de la collecte de données• Importance du mesurage initial!• Fiabilité et validité

Fiabilité

• Garanties du mesurage en termes d’objectivité et de reproductibilité

• Faites une fiche comprenant des méta-infos sur l’indicateur

20

Description de l’indicateur (exemple en NL)

Nom de l’indicateurBrève définition

Observations

DONNEENomSource des données & fournisseur

EchelleFiabilité

CoûtComparabilité dans le temps

Comparabilité dans l’espace

PériodicitéActualisation

NUMERATEUR

21

• Pièges lors de l’exploitation des indicateurs

Validité: “Sait-on ce que l’on veut mesurer?”

On estime à tort que l’indicateur recouvre la totalité de l’objet du mesurage

Trop peu d’attention accordée aux aspects plus difficilement mesurables de l’objet du mesurage

Réduction: on adapte l’objet du mesurage ou le concept à l’indicateur, au lieu de faire l’inverse

Sortes d’indicateurs

Cf. Composantes ds schéma cycle de gestion•Input: nombre de patrouilles de police déployées; nbre d’h p/pers.; Nombre de personnes présentes aux sessions d’info “sécurisation des habitations”•Processus: les “temps de mesurement”•Output: nombre de fermetures d’immeubles utilisés par des dealers; PV traités; nombre de demandes de primes de sécurisation anti-intrusion•Effet: diminution de l’abus de drogue dans une partie donnée de la ville; nombre de tentatives de cambriolage échouées•Impact: long terme. Effet durable? Sentiment de sécurité des habitants

•Efficacité: input/output •Effectivité: effet/output •Coût-efficacité: effet/input

(4) Capacité / Culture d’évaluation

• Capacité:– Evaluation interne versus évaluation externe– Coût relatif de l’évaluation en fonction du coût

du projet

• Culture d’évaluation

23

Valérie Pattyn

Institut de la Gestion publique

valerie.pattyn@soc.kuleuven.be

24

Plus d’informations?