Questions et critères

Méthodes et techniques

QualitéTermes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc...

Module 7- La qualité d'une évaluation et ses dimensions, les standards à

respecter

22

Quelles qualités pour une évaluation ?

Impartiale Indépendante Ouverte Diffusée Participative

CADIndépendance Rigueur Pluralisme Transparence

Utilité-pertinence Indépendante Fiabilité Objectivité Transparence Possibilité de généralisation

CSE

Indépendante Utilité Crédibilité Transparence

BIRD

Decret 22/1/90

Crédible

Qualité et transparence des méthodes employées, compétence des évaluateurs

Utile

Pertinente

Communication des résultats

Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements

Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique

Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique

Pour qu'une évaluation soit :

Elle doit être : Accessible

Qualité des mesures et des relations causales établies

Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions), séparation complète entre conclusions et recommandations

(digne de confiance)

Qualité du rapport : organisation, taille, style (clarté, concision)

Ce qui suppose :

Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes

Les qualités d'une évaluation

44

- Qualité de la demande et des TdR- "Evaluabilité" du programme- Qualité des évaluateurs- Qualité de la préparation- Qualité de la réalisation- Qualité des debriefings et des confrontations

- Qualité du rapport final

C'est un processus. La qualité est à assurer tout au long de la chaîne :

Les déterminants de la qualité

55

Qualité de la demande

- Justifiée par une volonté de progrès

- Dans un climat de transparence et de partenariat

- Pertinence des questions

- Choix du moment

- Cohérence entre question et moyens

- Qualité des termes de référence (qui traduisent la demande)

66

Qualité des termes de référence

Thèmes à inclure dans les TdR:• Origine du projet d'évaluation• Description schématique du programme à évaluer

avec identification des parties prenantes

• Les questions d’évaluations – les problèmes posés

• Les résultats attendus

• La démarche et le plan de travail

• Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises)

• Le calendrier

77

Termes de

référence

Commanditaire (s) Ensemble des parties prenantes

Equipe d'évaluation

Qui devrait participer à la préparation des termes de référence ?

88

"Evaluabilité" du programme

- Qualité de la structure logique du projet

- Précision des attentes (les indicateurs)

- Le cadre d'évaluation

- Le système de suivi

SI les résultats directs sont produits

Et SI les hypothèses de développement se vérifient,

ALORS l'objectif principal du projet sera atteintPrésentation Indicateurs

Moyens de vérification

Hypothèses

Finalités

Objectif Principal

Résultats opérationnels

Composantes d'activités

Ressources

Matrice du cadre logique

La structure logique

Indicateurs

Hiérarchie des objectifs Définition claire et précise d'un objectif

Indicateur objectivement vérifiable Clarification des résultats attendus Quel niveau sera jugé satisfaisant: • quantité • qualité • temps

Moyens de vérification Source et type de preuve nécessaires pour établir l'état de l'indicateur

Le travail sur les indicateurs oblige à préciser et clarifier les objectifs

La disponibilité de données valides et fiables limite l'utilité d'un indicateur

Définition des indicateurs de résultats

La logique horizontale

Rappel d'une phase essentielle de la préparation des programmes

1111

Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation)

Avoir des indicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet :    - Montre comment le succès sera reconnu    - Oblige à clarifier ce qu'on entend par objectif    - Fournit une base objective pour l'évaluation

1212

L'objectif principal est bien un objectif de développement (il décrit un changement dans l'attitude ou les performances des bénéficiaires, pas de confusion avec les résultats opérationnels)

L'objectif principal est réaliste (pas de confusion avec les finalités)

Des indicateurs de performance et de résultat ont été définis. Ils sont mesurables et possèdent les trois dimensions (quantitatifs, qualitatifs, phases dans le temps)

Les points clés pour l'évaluabilité d'un programme

1313

Quand le suivi a été bien fait, c'est un acquis énorme pour les évaluations ultérieures

Le cadre d'évaluation défini au départ

C'est désormais une exigence dans le cahier des charges pour la définition des projets et des programmes

Le cadre de départ doit préciser :- Quel système de suivi- Quelles évaluations prévues- Les responsabilités et le plan d'action

1414

Qualité des évaluateurs

Quelles sont les qualités requises

pour une évaluation ?

Discussion

1515

Les qualités requises d’un évaluateur

• Capacité d'initiative et d'innovation. • Indépendance. • Connaissance du domaine. • Compétences analytiques. • Relations interpersonnelles. • Compétences dans la gestion des projets. • Qualités de synthèse et de rédaction.

1616

Qualité de la préparation

Au centre de la préparation se situe le choix de la démarche retenue, qui doit être pertinent, mais aussi la qualité du programme d'activité, la bonne préparation des outils et instruments, ...

La préparation suit un processus dont toutes les étapes doivent être respectées et réalisées correctement

(Voir la description des étapes à suivre, ci-dessous Module 8)

1717

Qualité de la réalisation

- le plan prévu a été réalisé, sans surprise ou accident. (le rapport final rendra compte de ce déroulement)

- qualité des mesures réalisées,

- qualité des argumentaires et des conclusions

1818

Comment se faire une opinion

Les critères utilisés doivent être connus et visibles. Convenir au départ, avec les parties prenantes, des critères/éléments qui seront utilisés pour évaluer. Utiliser ensuite en toute transparence ces mêmes critères pour construire les jugements d'évaluation

Normes: Rechercher des indicateurs de bonnes performances (autres organisations dans le domaine) et s’en servir comme point de référence

Panel d’experts: Présenter les données à des experts reconnus et utiliser les appréciations qu'ils en retirent à partir de leur expérience

1919

Chercher la sur-détermination ou des confirmations multiples

("Triangulation")Données des questionnaires

Données des groupes de discussion

Données des

entretiens

Le prix de l'eau à la

pompe est trop élevé en milieu rural et limite l'usage des ouvrages

Exemple d'une conclusion d'évaluation

La moindre divergence doit attirer l'attention des évaluateurs sur un risque

d'erreur

2020

L'argumentaire doit être construit avec soin

Montrer l'importance, pour la qualité de l'évaluation, d'un traitement différencié

de ces différents concepts

Exercice en groupe : réflexion sur un argumentaire simple conduisant à une

conclusionFaire apparaître les différents concepts en

jeu (faits, opinions, inférences, conclusions, ...)

Dans l'argumentaire, il est essentiel de bien séparer :

Faits Observés, incontestables, font généralement l'objet d'un consensusRésultat intermédiaire de l'évaluateur qui déduit ou "infère". Les infèrences doivent être éprouvésJugement personnel, à présenter clairement comme tel. A banir si pas justifiéesA banir totalement

Résultent de tout un argumentaire. Doivent être clairement reliées à cet argumentaire et présentées comme tellesA isoler très nettement des conclusions. Tendances fortes à sauter sur les recommandations avant même d'avoir clairement tirées les conclusionsSe rapport à un principe qui peut avoir des applications plus générales

Déductions

OpinionsSentiments

Conclusions

Recommandations

Enseignements

2222

Qualité des confrontations

• C'est la discipline de base de l'évaluateur

• Préparer les débriefing avec soin. Chacun d'eux doit améliorer la compréhension mutuelle et permettre de gagner de l'adhésion

• Ne pas supprimer la confrontation finale avec toutes les parties prenantes. Souvent difficile à réaliser. Doit être prévue dans le programme de l'évaluation.

2323

Le rapport final

Un exercice particulièrement difficile car :

• Pour faire partager les conclusions il faut tout expliquer

• Pour être lu il faut être court

• Pour être compris par des publics très différents, il faut des présentations différentes.

2424

Plusieurs rapports

- Le personnel du programme pourra avoir besoin d’un rapport verbal et d’une note interne avec les points principaux

- Les bailleurs de fonds et les intervenants externes pourront avoir besoin d’un rapport complet.

- Les décideurs pourront avoir besoin d’un résumé

- Le public pourra avoir besoin d’un sommaire des résultats

2525

Qualité du rapport final

• Répond aux questions et problèmes identifiés dans les termes de référence

• Clair et bien organisé, utiliser graphiques, matrices, ...

• Certains éléments peuvent être préparés avec les parties prenantes

• Fourni à temps

• Écrit dans la langue des utilisateurs

• Présente une position détachée et désintéressée. Est objectif.

2626

Le contenu du rapport final d'une évaluation rétrospective

Un résumé analytique de 1 à 3 pages Une description de la politique évaluée Un rappel du contexte de l'évaluation, du commanditaire, de ses

objectifs (les questions auxquelles l'évaluation devait répondre) Un exposé méthodologique rappelant les choix opérés, les

techniques utilisées et les étapes du travail d'évaluation  Un bref compte rendu des études réalisées Des développements informatifs à partir des données recueillies et

des observations effectuées Des conclusions correspondant aux critères retenues pour

l'évaluation Des recommandations qui doivent apparaître clairement comme

telles Des annexes

2727

1- Niveau de réponse à la demande (par référence aux questions posées à l'origine dans les termes de référence) 2- Pertinence du champ couvert 3- Indépendance/pluralisme de l'équipe d'évaluation 4- Adéquation méthodologique 5- Fiabilité des données utilisées 6- Solidité des analyses 7- Crédibilité des conclusions 8- Clarté du rapport (ou de la présentation)

Exc

elle

nt

Bon

Acc

epta

ble

Inac

cept

able

Attention : la note générale n'est pas la moyenne des notes mais correspond à la plus mauvaise note obtenue pour l'un quelconque des 8 points ci-dessus.

Grille d'estimation de la qualité d'une évaluation (pour le commanditaire)

2828

Les standards à respecter

American National Standards Institute

Utility The Evaluation will serve the needs of intended users

Feasibility The Evaluation will be realistic and practical, prudent and diplomatic

Propriety The Evaluation will be conducted ethically, with regard for the welfare of those involved in the process, as well of those affected by its results.

Accuracy The evaluation will reveal and convey technically adequate information about the features that determine worth or merit of the program being evaluated

Utilité : L'évaluation doit répondre aux besoins des utilisateurs prévusFaisabilité : L'évaluation doit être réaliste et praticable, prudente et diplomatiqueRespectueuse : L'évaluation doit être conduite dans le respect du bien-être de ceux qui sont associés à sa réalisation et pourraient être affectés par ses résultats

Appropriée : L'évaluation doit produire et utiliser les informations techniquement adéquates pour déterminer la valeur ou les mérites du programme évalué