L'évaluation des projets - MOOC Gestion de Projetgestiondeprojet.ec-lille.fr/Projet_Evaluation_Impact.pdf · Réduire le travail des femmes Diminution des temps d’attente au puits

Dr. Rémi Bachelet

Maître de conférences

à Centrale Lille

Objectifs de la formation

Concepts-clés

Le cycle des opérations

L'évaluation des projets

Source cc-by-SA : Wikimédia Commons

https://commons.wikimedia.org/wiki/File:2006-01-28_Drop-impact.jpg

Dr. Rémi Bachelet


à Centrale Lille


Concepts-clés


Confort de lecture ?

1080p/haute définition

mettre la vidéo en mode « plein écran »

Mettre en pause, varier la vitesse youtube.com/html5

gestiondeprojet.pm– originaux des diapositives

– vidéos en téléchargement,

– quizz

Cours distribué sous licence Creative Commons

.

http://www.youtube.com/html5

http://gestiondeprojet.pm/

Dr. Rémi Bachelet


à Centrale Lille


Concepts-clés


Objectifs

3

Au terme de cette formation, vous devez pouvoir :

1. Établir des termes de référence

2. Évaluer un projet :

– Connaître les « bonnes pratiques »

– Des exemples, tirés de projets/organisations sont signalés

3. Construire et mettre en œuvre des indicateurs d’impact

4. Comprendre et partager des concepts-clés

(Présentés sur la page suivante)

Lightbulb Jon Phillips public-domain-photos.com

.

http://www.public-domain-photos.com/free-cliparts/electronics/bulb/lightbulb_jon_phillips_03-2644.htm

Dr. Rémi Bachelet


à Centrale Lille


Concepts-clés


Vocabulaire de l’évaluation

Finalité Moyens Restitution

Termes de référence critères

Objectifs/Résultats butssuivi-capitalisation Effets

Impact prévu/réel Objectifs

Situation de départ Indicateurs

4

.

Dr. Rémi Bachelet


à Centrale Lille


Concepts-clés


5


Programmation

Formulation

Identification

Mise en œuvre

Livraison

Cadre logique,

Termes de référence

Etude de montage

Rapports d’avancement

Domaines prioritaires,

Objectifs globaux

PlanStratégique

Décision sur la manière d’utiliser les résultats dans les projets

futurs

Rapport d’évaluation

Adapté de : http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt

Décision de financement

Lancement.

Evaluations intermédiaires

http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt

Dr. Rémi Bachelet


à Centrale Lille

Sommaire

6

1. Fondamentaux de l’évaluation

2. Le processus d’évaluation

3. Les termes de référence : l’exemple d’IFADEM

4. Évaluer l’impact en mettant en œuvre des indicateurs

5. Critères de réussite, bonnes pratiques

Définitions

Objectifs et résultats

L'évaluation des effets

Apprécier l’impact

Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

7

Fondamentaux de l’évaluation

Source cc-by-SA : Wikimédia Commons

https://commons.wikimedia.org/wiki/File:Water_pump_(7250527156).jpg

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

8Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL

Action Résultats

Impact

.

http://f3e.asso.fr/spip.php?article59&PHPSESSID=2dba001be7d1b73ac93d5cef1c580707

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Définitions

Résultats = changements produits directement par l’action – A comparer avec les objectifs formalisés avant le lancement

du projet.

Effets = incidences directes et indirectes de l’action– Résultats de l’action mais aussi d'autres dynamiques /

contraintes provenant du milieu (physique et humain). – Les effets peuvent être anticipés, mais avec une marge

d’incertitude = p.e. objectifs propres des populations .

Impact = changement à la suite de l’action– Prévoir l’impact présente encore plus de difficultés, car de

nombreux facteurs extérieurs au projet interviennent.– Le temps est également un facteur, car l'impact se juge à

terme, "ex-post ".

9

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

10

Action Résultats

Impact

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

L'évaluation des résultats

Au vu des objectifs initiaux de l’action, comparer :

– les objectifs définis

– .. et les résultats atteints

Deux visions :

– quantitative : écart chiffré entre le prévu et le réalisé (p.e. 3 puits construits au lieu de 4)

– qualitative : différence de nature entre le prévu / réalisé (p.e. un forage au lieu d’un puits)

11

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Action et ses

objectifsRésultats Effets Impact

Réaliser 12 puits

répondant aux

normes techniques

• 10 puits 60m3

• 1 forage

Réduire le travail

des femmes

Diminution des

temps d’attente au

puits

Diminuer les

maladies liées à

l’eau

Bonne qualité

bactériologique de

l’eau des puits


.


Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

13

Action Résultats

Impact

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille


L’évaluation des effets porte sur l’interaction entre l’action et l’environnement du projet.– Le public concerné par les effets est plus large que

le public-cible de l’action

– Les stratégies menées par les personnes et les populations sont souvent difficiles à prévoir

– D’autres actions ont pu interférer

– …

14

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Action et ses


Réaliser 12 puits

répondant aux

normes techniques

• 10 puits 60m3

• 1 forage

La population

continue de puiser

l’eau au marigot

sauf en saison

sèche

Réduire le travail

des femmes

Diminution des


puits

Le temps libéré

permet des

activités

productives :

culture, tissage…

Diminuer les

maladies liées à

l’eau

Bonne qualité

bactériologique de

l’eau des puits

Les villageois

stockent l’eau

dans des récipients

contaminés par

l’eau du marigot


.


Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

16

Action Résultats

Impact

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

L’appréciation de l’impact

L'impact d'un projet est

l’ensemble des changements

…significatifs

…durables

positifs et négatifs

prévus et imprévus

sur les personnes, les groupes et leur environnement

… ayant un lien de causalité avec l’action

17

.

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Action et ses


Réaliser 12 puits

répondant aux

normes techniques

• 10 puits 60m3

• 1 forage

La population

continue de puiser

l’eau au marigot

sauf en saison

sèche

L’action n’a pas

amélioré la

situation sanitaire

des populations.(Pourtant les résultats

correspondent aux

objectifs des actions)

Par contre, les

nouvelles activités

productives des

femmes produisent

des revenus, dont

une partie sert à

améliorer la santé.

Réduire le travail

des femmes

Diminution des


puits

Le temps libéré

permet des

activités

productives :

culture, tissage…

Diminuer les

maladies liées à

l’eau

Bonne qualité

bactériologique de

l’eau des puits

Les villageois

stockent l’eau

dans des récipients

contaminés par

l’eau du marigot


.


Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Il est difficile d’anticiper l’impact

• Impact technique : – attendu : des villageois autonomes et formés pour l’entretien ;– inattendu : création d’entreprises de réparation des puits dans la zone.

• Impact économique :– attendu : la caisse villageoise est alimentée par le paiement de l’eau ;– inattendu : la caisse permet la création d’emplois dans les entreprises

d’entretien des puits.

• Impact social :– attendu : les enfants du village sont en meilleure santé ;– inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école.

• Impact financier :– attendu : constitution d’une caisse pour l’entretien de chaque puit ;– inattendu : l’argent d’une caisse est détourné

• Impact organisationnel :– attendu : constitution des comités de gestion ;– inattendu : certains comités de gestion des puits conduisent d’autres

action, p.e gèrent un potager pour l’école.


.


Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Anticiper l’impact

Quels sont les enjeux, acteurs et parties prenantes du projet ?

– Dirigeants, chefs, élus..

– Groupes et associations,

– Fonctionnaires et agents de tutelle,

– Financeur, bailleurs de fonds

– Entreprise, opérateurs économiques,

– etc…

.. analyser leurs zones d'incertitudes et anticiper leurs stratégies (voir cours d’analyse stratégique des projets)

.

http://rb.ec-lille.fr/l/Cours_de_sociologie_des_organisations.htm

Définitions




Chapitre 1

Dr. Rémi Bachelet


à Centrale Lille

Action Résultats

Impact

.

Synthèse : retour sur les points fondamentaux

.

.

.

Dr. Rémi Bachelet


à Centrale Lille

Sommaire

22







Suivi : évaluation et capitalisation

Moyens, objectifs, buts et finalité

Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

Le processus d’évaluation

Photos © www.ifadem.org

http://www.ifadem.org/




Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

Les termes de référence

• Établis au début du projet.

– Ils permettent de délimiter l’évaluation, d’en préciser les objectifs

• Qu’est-ce que l’on cherchera à savoir sur une action : impacts attendus, moyens de les mesurer…

• Être clair sur ce que le commanditaire attend de l’évaluation

• Questions :1. Contexte ? Acteurs, milieu, antériorité

2. Qu’est-ce qu’il faut évaluer ? Questions évaluatives, Critères de réussite

3. Impact attendu ? Indicateurs, méthodologie d’évaluation ?

4. Restitution des résultats : à qui, comment ?

5. Moyens : budget, étapes du déroulement ?

– Guides méthodologique F3E, Daniel NEU• Préparer les termes de référence

• La préparation collective des termes de référence d’une évaluation

24

.

http://f3e.asso.fr/IMG/pdf/Note_TDR_relue.pdf

http://f3e.asso.fr/spip.php?article64




Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL

Le suivi – évaluation

25

Action Résultats

Impact

situation de départ

Evaluation intermédiaire

Evaluation finale

Evaluation ex-post

Procéder régulièrement à des évaluations : les jalons et réunions de suivi du projet :

• Elles peuvent être des auto-évaluations, évaluations externes/audits, etc… ou êtres faites pendant des réunions du projet.

• On peut évaluer les effets, mais aussi le dispositif lui-même (implication des acteurs..).

.





Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille


Le suivi-capitalisation

Collecter et analyser régulièrement “l’information utile à l’action”.– Prendre le temps d’observer = écoute et distanciation.

– S’informer sur les autres actions en cours sur la zone.

– Noter, conserver par écrit les éléments repérés

Impact

Action

Capitalisation

26

.





Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

Lors d’une formation animée par Centrale Lille dans un Campus numérique francophone de l’AUF pour créer un MOOC.

A la même question “Que faites-vous ?”

– Le 1er enseignant dira : j’apprends à me servir d’une plateforme de formation à distance

– Le second répondra : je me forme à de nouvelles méthodes pédagogiques

– Le 3ème : avec le MOOC je donnerai accès à l’enseignement supérieur à tous, pas uniquement mes étudiants habituels

– Le 4ème : je contribue à réduire la fracture numérique entre le Sud et le Nord

27

.




Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

• Se servir d’une plateforme de formation est le moyen.

• Se former à de nouvelles méthodes pédagogiques est l’objectif.

• Donner accès à un public nouveau est le but.

• Réduire la fracture numérique est la finalité.

28

.




Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

• La finalité : c’est l’idéal vers lequel on tend. La finalité fait référence à des valeurs :– la dignité, la liberté, l’égalité, etc.

• Le but : c’est la matérialisation de la finalité que l’on se donne = l’impact attendu. – Le but est concret, mais il n’est pas accessible

immédiatement.

• L’objectif : c’est le résultat attendu d’une action. Atteindre les objectifs doit produire des résultats. – Les objectifs sont ordonnés dans le temps et dans l’espace :

on parle alors d’objectifs principaux, de sous-objectifs, etc.

• Les moyens sont les financements, compétences, outils et méthodes pour atteindre les objectifs.– Il est indispensable de mobiliser des moyens et des

ressources

29

.




Chapitre 2

Dr. Rémi Bachelet


à Centrale Lille

Synthèse : le processus d’évaluation

30

.

• Termes de référence

• Suivi

• Moyens, objectifs, buts et finalité

.

.

Dr. Rémi Bachelet


à Centrale Lille

Sommaire

31






IFADEMInitiative francophone pour la formation à distance des maîtres

33

IFADEM : le projet

1er

regroupement

2 jours

Autoformation tutorée

6 mois

2e regroupement

2 jours

Autoformation tutorée

6 mois

3ème

regroupement

3 jours

Evaluation des

enseignants / Evaluation du

dispositif

Parcours de 350 heures de formation

+Cas IFADEM initial développé par Marion Alcaraz, AUF

34

La convention IFADEM-Burundi

Parties prenantes

• AUF

• OIF

• Ministère de l’enseignement

Budget

• 1,4M€ AFD

• 400.000€AUF/OIFdont valorisation personnels et locaux

Cadre logique

• Objectifs

• Activités

• Moyens

• Résultats attendus

• Risques encourus

• Moyens pour surmonter les risques (mitigation)

• Indicateurs

http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_fr.pdf

35

Les deux évaluations finales

Evaluation externe

• Respects des procédures• Bonne gestion des

financements

Audit financier

Termes de référence…

36

Termes de référence - le contexte

Contexte de l’évaluation

• Pays

• Système éducatif

• Formation des maîtres

• IFADEM

Présentation du projet IFADEM-Burundi

• Cadre conventionnel

• Organisation / acteurs

• Calendrier

• Activités menées

• Réalisations

• Budgets

• Etc.

37

Termes de référence - Les objectifs

Objectifs quantitatifs

• Former 1800 instituteurs

• Développer 7 livrets de formation

• Créer 4 Espaces numériques

• Former une centaine de formateurs de formateurs

Objectifs qualitatifs

• Améliorer les compétences professionnelles des enseignants du primaire

• Tester et valider une stratégie nationale de formation continue

Dr. Rémi Bachelet


à Centrale Lille

Sommaire

38



3. Exemples de projets et de leur impact

4. Construire des indicateurs

5. Suivre et valoriser une évaluation

L'impact attendu

Définir les indicateurs

La situation de départ

Mesure de l’impact réel

Chapitre 4

Dr. Rémi Bachelet


à Centrale Lille

Construire des indicateurs

Photos © www.ifadem.org


L'impact attendu




Chapitre 4

Dr. Rémi Bachelet


à Centrale Lille

Que sont des indicateurs d’impact ?

Ce sont des signes vérifiables et mesurables qui,

– par comparaison à une référence,

– mettent en évidence l’impact réel

… on les met au point à partir de l'impact attendu du projet

.

L'impact attendu




Chapitre 4

Dr. Rémi Bachelet


à Centrale Lille

L'impact attendu permet de trouver des indicateurs


indicateur

indicateur.


42

Impact attendu pour IFADEM

Connaissances professionnelles• « connaitre les étapes d’une

leçon » • ..

Pratiques de classe• « travail en groupes »• …

Observer des séances de classe – Lire des rapports d’évaluations de systèmes

éducatifs

Cas IFADEM initial développé par Marion Alcaraz, AUF

Impact attendu :Amélioration des compétences 1. Théoriques2. Pratiques des enseignants

Indicateurs

Effets

43

Questionnaire« Connaissances

professionnelles » Grille d’observation « séances de classe »

Mesure des indicateurs

Indicateurs :

• Connaissances professionnelles

• Pratiques de classe

Voir cours Méthodes de recueil de donnéesLes entretiens, conception de questionnaires, observation directe …

http://rb.ec-lille.fr/Cours_de_recueil_analyse_et_traitement_de_donnees.htm

44

QCM sur les connaissances professionnelles

• 20% des enseignants interrogés connaissent les étapes d’une leçon de compréhension orale

• ….

• Moyenne de 23,7/45

Observation de séances de classe

• 13% des enseignants acceptent que leurs élèves utilisent des tournures « français oral »

• 44% des enseignants font travailler leurs élèves en groupes

• …

Situation de départ

Situation de départ= Recueil des données au démarrage du projet

L'impact attendu




Chapitre 4

Dr. Rémi Bachelet


à Centrale Lille

Démarche déductive

45

Indicateurs

Impact attendu


.

4646

Action Résultats

Impact


Evaluation ex-post

Même méthodologie

47

Utilisation des indicateurs

Situation finale

Evaluation ex-post

Recueil des données après la fin du projet

L'impact attendu




Chapitre 4

Dr. Rémi Bachelet


à Centrale Lille

Indicateurs

Situation finale « terrain »

IMPACT REEL

Démarche inductive

48

.

Évolution des résultats ?

Les enseignants qui avaient obtenu les moins bons résultats à l’entrée sont- ils ceux qui ont le

plus évolué ?

DynamiquesEcarts

49

Situation de départEntrée des enseignants en formation.

Evaluation ex-postSortie de formation pour les enseignants

IMPACT

Quel impact ?

INDICATEURS

L'impact attendu




Chapitre 4

Dr. Rémi Bachelet


à Centrale Lille

Synthèse : indicateurs et impact

.

.

.

.

• L'impact attendu

• Indicateurs

• Impact

Dr. Rémi Bachelet


à Centrale Lille

Sommaire

51





5. Suivre et valoriser une évaluation

Les critères

À quoi sert l’évaluation?

Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

Critères de réussite, bonnes pratiques

52Photos © www.ifadem.org


Les critères


Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

Les critères

• Les “angles de vue” grâce auxquels on porte une jugement.

• Les critères les plus courants sont : 1. l’efficacité : compare les résultats aux objectifs prévus (en

quantité et en qualité),

2. l’efficience : compare les résultats avec les ressourcesutilisées (moyens humains et matériels),

3. la pérennité : l’action est durable/soutenable (elle se poursuit de manière autonome sans appui extérieur),

– La méthodologie de mise en œuvre des critères est également développée dans la vidéo formation au brainstorming.

– D’autres critères peuvent être utilisés : participation, environnement, cohérence avec d’autres projets, etc…

53

.

gestiondeprojet.pm/animer-un-brainstorming/

Les critères


Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

IFADEM : Les critères

54

Pertinence

Efficacité

Efficience

Viabilité/

durabilité

• Bien-fondé des activités menées au regard du contexte – cohérence interne et cohérence externe.

• Degré d’atteinte des objectifs - taux de réalisation du projet.

• Rapport activités / moyens – étude des coûts

• Capacités des bénéficiaires à pérenniser les actions menées

.

Les critères


Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

À quoi sert l’évaluation ? (1/2)

• Contrôler

– … si ce qui a été prévu a été réalisé, vérifier comment le financement a été utilisé

• S’améliorer

– Faire mieux la prochaine fois

• Piloter

– Indique ce qui a marché ou pas, de ne pas refaire les mêmes erreurs, régulation en cours de projet

• Capitaliser

– Mémoriser l’expérience, la

transformer en savoir partageable

55

.

Les critères


Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

À quoi sert l’évaluation ? (2/2)

• Former

– Si l’évaluation est participative, elle permet aux acteurs de progresser

• Communiquer

– Sur les actions, leur résultat, leur impact

• Faire participer

– Si les termes de référence sont construits et négociés avec toutes les parties prenantes

• Mais aussi …

– Mesurer, réfléchir avant d’agir, connaître ses faiblesses, motiver..

56

.

Les critères


Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

À votre avis, qu’est-ce qui fait qu’une évaluation marche bien ou mal ?

Selon :

– La volonté de progresser

• Désir de changement ? Craintes ?

– L’équipe-projet

• Ouverte ? Stabilisée ?

– Les convergences d’intérêts des acteurs

• Concertation ? Négociation ?

– Le type de management

• Autoritaire/vertical ? Collaboratif/horizontal ?

– L’importance accordée à l’évaluation

• Durée ? Moyens financiers et humains ? Temps de restitution ?

– Ce qui se passe après l’évaluation

• Des moyens pour appliquer les conclusions, une valorisation, une corvée ?

57

.

Les résultats de l’évaluation

http://www.ifadem.org

« L’évaluation de la 2e phase IFADEM a permis de mettre en évidence la nature de la

performance de l’action de formation continue (…) Ce rapport

montre les potentialitésdu système en cours de construction par le ministère et les différentes parties prenantes ; il souligne aussi certaines conditions qui

déterminent la viabilitéd’un plan stratégique de formation continue dans les cinq années à venir. »


Les critères


Bonnes pratiques

Chapitre 5

Dr. Rémi Bachelet


à Centrale Lille

59

.

Synthèse : Suivre et valoriser

• Les critères

• À quoi sert l’évaluation ?

– Contrôler, s’améliorer, piloter, capitaliser, former, communiquer, faire participer….

• Bonnes pratiques– La volonté de progresser

– L’équipe-projet

– Les convergences d’intérêts

– Le management

– L’importance accordée à l’évaluation

– Ce qui se passe après l’évaluation

.

.

Dr. Rémi Bachelet


à Centrale Lille

Merci de votre attention !

Pour approfondir

– Guides et outils F3E : http://f3e.asso.fr

– Économie de l’évaluation : Analyse coût-bénéfice

– L’évaluation d’un site internet : Web analytics

– Méthodes de recueil et d’analyse de données

60

http://f3e.asso.fr/

http://fr.wikipedia.org/wiki/Analyse_co%C3%BBt_b%C3%A9n%C3%A9fice

https://sites.google.com/site/coursdereferencementseo/home

http://goo.gl/zMoii

Documents

L'évaluation des projets - MOOC Gestion de Projetgestiondeprojet.ec-lille.fr/Projet_Evaluation_Impact.pdf · Réduire le travail des femmes Diminution des temps d’attente au puits