Guide pour la planification et la mise en oeuvre des évaluations stratégiques de l’UICN
Destiné aux cadres et aux équipes évaluatrices de l’UICN
Préparé par l’Initiative de l’UICN pour le suivi et l’évaluation avec le Groupe Universalia Management
2004
La terminologie géographique employée dans cet ouvrage, de même que sa présentation, ne sont en aucune manière l’expression d’une opinion quelconque de la part de l’UICN [**ou des autres organisations concernées] sur le statut juridique ou l’autorité de quelque pays, territoire ou région que ce soit, ou sur la délimitation de ses frontières.
Les opinions exprimées dans cette publication ne reflètent pas nécessairement celles de l’UICN.
Le présent ouvrage a pu être publié grâce à un soutien financier de l’Agence suédoise de coopération internationale au développement (ASDI), de l’Agence norvégienne de coopération au développement (NORAD), du Ministère danois royal d'Affaires Etrangères (Danida), du Direction du développement et de la coopération (DDC) et du Direction générale de la coopération internationale, Pays-Bas (DGIS) .
Publié par: UICN, Gland, Suisse et Cambridge, Royaume-Uni
Droits d’auteur: © 2004 Union internationale pour la conservation de la nature et de ses ressources
La reproduction de cette publication à des fins non commerciales, notamment éducatives, est permise sans autorisation écrite préalable du [des] détenteur[s] des droits d’auteur à condition que la source soit dûment citée.
La reproduction de cette publication à des fins commerciales, notamment en vue de la vente, est interdite sans autorisation écrite préalable du [des] détenteur[s] des droits d’auteur.
Citation: Adrien, Marie-Hélène, MacPherson, Nancy. Guide pour la planification et la mise en œuvre des évaluations stratégiques de l’UICN, Gland, Suisse et Cambridge, UK v & 54pp.
ISBN: 2-8317-0871-0
Traduction: Amalia Thaler
Couverture conçue par: L’IV Communications, Chemin de la Brume 2, 1110 Morges 3, Suisse
Photos couverture: IUCN Photo Library © Jim Thorsell
Mise en page: Peter Hulm
Produit par: L’Initiative de suivi et d’évaluation de l’UICN
Imprimé par: SADAG Imprimerie, Bellegarde-sur-Valserine, France
Disponible auprès du: [email protected]
Guide des évaluations stratégiques
iii
Sommaire
Introduction 1
1. Qu’est-ce qu’une évaluation stratégique? 2
1.1 Définition et portée 21.2 Objectif 21.3 Unité d’évaluation 21.4 Cadre de l’évaluation organisationnelle 31.5 Qu’est-ce qui déclenche une évaluation stratégique et qui peut la mettre en route? 31.6 Caractéristiques d’une démarche d’évaluation stratégique 31.7 Composition des équipes d’évaluation stratégique 41.8 Ressources et calendrier 51.9 Utilisateurs des résultats 51.10 Limites d’un processus d’évaluation stratégique 6
2. Planification d’une évaluation stratégique 7
2.1 Termes de référence 72.2 Définir les questions à examiner 72.3 Utiliser la grille afin de définir les domaines à évaluer et les questions à poser 82.4 Poser les bonnes questions 92.5 Définition des indicateurs 102.6 Définir des sources de données 112.7 Quelles sont les méthodes nécessaires pour collecter des données? 122.8 Comment définir la composition d’une équipe évaluatrice 142.9 Préciser les fonctions et les responsabilités des membres de l’équipe 152.10 Grille d’évaluation 152.11 Plan de travail / calendrier de l’évaluation 16
3. Une collecte efficace de données 17
3.1 Mettre au point ou adapter des outils de collecte de données 173.2 Une stratégie de diffusion adaptée 173.3 Exploitation des données des questionnaires 18
4. Une analyse adaptée des données 19
4.1 Importance de la triangulation des données 194.2 Interprétation des données 194.3 Classement des données 204.4 Organisation d’une réunion de synthèse afin d’analyser les données collectées 20
i
Guide des éva luat ions s t ra tég iques
La terminologie géographique employée dans cet ouvrage, de même que sa présentation, ne sont en aucune manière l’expression d’une opinion quelconque de la part de l’UICN [**ou des autres organisations concernées] sur le statut juridique ou l’autorité de quelque pays, territoire ou région que ce soit, ou sur la délimitation de ses frontières.
Les opinions exprimées dans cette publication ne reflètent pas nécessairement celles de l’UICN.
Le présent ouvrage a pu être publié grâce à un soutien financier de l’Agence suédoise de coopération internationale au développement (ASDI), de l’Agence norvégienne de coopération au développement (NORAD), du Ministère danois royal d'Affaires Etrangères (Danida), du Direction du développement et de la coopération (DDC) et du Direction générale de la coopération internationale, Pays-Bas (DGIS) .
Publié par: UICN, Gland, Suisse et Cambridge, Royaume-Uni
Droits d’auteur: © 2004 Union internationale pour la conservation de la nature et de ses ressources
La reproduction de cette publication à des fins non commerciales, notamment éducatives, est permise sans autorisation écrite préalable du [des] détenteur[s] des droits d’auteur à condition que la source soit dûment citée.
La reproduction de cette publication à des fins commerciales, notamment en vue de la vente, est interdite sans autorisation écrite préalable du [des] détenteur[s] des droits d’auteur.
Citation: Adrien, Marie-Hélène, MacPherson, Nancy. Guide pour la planification et la mise en œuvre des évaluations stratégiques de l’UICN, Gland, Suisse et Cambridge, UK v & 54pp.
ISBN: 2-8317-0871-0
Traduction: Amalia Thaler
Couverture conçue par: L’IV Communications, Chemin de la Brume 2, 1110 Morges 3, Suisse
Photos couverture: IUCN Photo Library © Jim Thorsell
Mise en page: Peter Hulm
Produit par: L’Initiative de suivi et d’évaluation de l’UICN
Imprimé par: SADAG Imprimerie, Bellegarde-sur-Valserine, France
Disponible auprès du: [email protected]
Guide des évaluations stratégiques
iii
Sommaire
Introduction 1
1. Qu’est-ce qu’une évaluation stratégique? 2
1.1 Définition et portée 21.2 Objectif 21.3 Unité d’évaluation 21.4 Cadre de l’évaluation organisationnelle 31.5 Qu’est-ce qui déclenche une évaluation stratégique et qui peut la mettre en route? 31.6 Caractéristiques d’une démarche d’évaluation stratégique 31.7 Composition des équipes d’évaluation stratégique 41.8 Ressources et calendrier 51.9 Utilisateurs des résultats 51.10 Limites d’un processus d’évaluation stratégique 6
2. Planification d’une évaluation stratégique 7
2.1 Termes de référence 72.2 Définir les questions à examiner 72.3 Utiliser la grille afin de définir les domaines à évaluer et les questions à poser 82.4 Poser les bonnes questions 92.5 Définition des indicateurs 102.6 Définir des sources de données 112.7 Quelles sont les méthodes nécessaires pour collecter des données? 122.8 Comment définir la composition d’une équipe évaluatrice 142.9 Préciser les fonctions et les responsabilités des membres de l’équipe 152.10 Grille d’évaluation 152.11 Plan de travail / calendrier de l’évaluation 16
3. Une collecte efficace de données 17
3.1 Mettre au point ou adapter des outils de collecte de données 173.2 Une stratégie de diffusion adaptée 173.3 Exploitation des données des questionnaires 18
4. Une analyse adaptée des données 19
4.1 Importance de la triangulation des données 194.2 Interprétation des données 194.3 Classement des données 204.4 Organisation d’une réunion de synthèse afin d’analyser les données collectées 20
i
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
iv
Sommaire
5. Rapport des résultats des évaluations stratégiques 21
5.1 Connaître vos différents publics 215.2 Les éléments de base d’un bon rapport écrit 225.3 Le rapport comme outil d’évolution 225.4 Du rapport au plan d’action 225.5 Un suivi efficace du plan d’action 23
Tableaux
Tableau 2.1 Exemples des catégories de questions 9Tableau 2.2 Exemples des catégories d’indicateurs 10Tableau 2.3 Forces et faiblesses des méthodes de collecte des données 13Tableau 2.4 Exemple d’une grille d’évaluation 15Tableau 2.5 Exemple de format pour un plan de travail d’évaluation 16Tableau 3.1 Comment assurer des taux élevés de retour 18Tableau 5.1 Exemple de format d’un plan d’action 23
Annexes
Annexe I – Définition des domaines de performance 24 Annexe II – Facteurs ayant une incidence sur les performances 25 Annexe III – Exemple de grille d’évaluation tirée de l’évaluation stratégique du BRAO, 2002 28 Annexe IV – Utilisation de techniques de groupe pour la collecte de données 36 Annexe V – Utilisation d’entretiens pour la collecte de données 40 Annexe VI – Utilisation de questionnaires pour la collecte de données 44 Annexe VII – Exemples de questionnaires et de protocoles de l'UICN 51 Annexe VIII – Incorporation de données d’échelles des questionnaires sous MS Excel 53
Guide des évaluations stratégiques
v
Acronymes
BRAO
CIRD
Bureau régional pour l’Afrique de l’Ouest
Centre international de recherches sur le développement
EARO Bureau régional pour l’Afrique de l’Est
EMG
PPG
Comité de direction
Groupe des programmes et des politiques
S&E
TR
UICN
Suivi et évaluation
Termes de référence
Union mondiale pour la nature
ii iii
Guide des évaluations stratégiques
iv
Sommaire
5. Rapport des résultats des évaluations stratégiques 21
5.1 Connaître vos différents publics 215.2 Les éléments de base d’un bon rapport écrit 225.3 Le rapport comme outil d’évolution 225.4 Du rapport au plan d’action 225.5 Un suivi efficace du plan d’action 23
Tableaux
Tableau 2.1 Exemples des catégories de questions 9Tableau 2.2 Exemples des catégories d’indicateurs 10Tableau 2.3 Forces et faiblesses des méthodes de collecte des données 13Tableau 2.4 Exemple d’une grille d’évaluation 15Tableau 2.5 Exemple de format pour un plan de travail d’évaluation 16Tableau 3.1 Comment assurer des taux élevés de retour 18Tableau 5.1 Exemple de format d’un plan d’action 23
Annexes
Annexe I – Définition des domaines de performance 24 Annexe II – Facteurs ayant une incidence sur les performances 25 Annexe III – Exemple de grille d’évaluation tirée de l’évaluation stratégique du BRAO, 2002 28 Annexe IV – Utilisation de techniques de groupe pour la collecte de données 36 Annexe V – Utilisation d’entretiens pour la collecte de données 40 Annexe VI – Utilisation de questionnaires pour la collecte de données 44 Annexe VII – Exemples de questionnaires et de protocoles de l'UICN 51 Annexe VIII – Incorporation de données d’échelles des questionnaires sous MS Excel 53
Guide des évaluations stratégiques
v
Acronymes
BRAO
CIRD
Bureau régional pour l’Afrique de l’Ouest
Centre international de recherches sur le développement
EARO Bureau régional pour l’Afrique de l’Est
EMG
PPG
Comité de direction
Groupe des programmes et des politiques
S&E
TR
UICN
Suivi et évaluation
Termes de référence
Union mondiale pour la nature
ii iii
Acronymes
Guide des éva luat ions s t ra tég iques
1
Guide des évaluations stratégiques
1
IntroductionL’UICN entreprend chaque année des évaluations stratégiques axées sur les principales questions et difficultés liées à la performance d’unités organisationnelles telles que les Bureaux régionaux, les Programmes thématiques mondiaux ou les Commissions.
Fondé sur l’expérience des évaluations stratégiques entreprises à l’UICN depuis 2001, ce document contient des orientations destinées au personnel de suivi et d’évaluation (S&E) et aux directeurs de programme, servant à planifier et à gérer les évaluations stratégiques. Il passe en revue les étapes de l’évaluation et fournit des outils, des idées et des conseils utiles concernant ce qui est « à faire » ou « à ne pas oublier ». Il comprend aussi des exemples d’outils de collecte de données (questionnaires et protocoles d’entretien) utilisés lors d’évaluations passées et pouvant être adaptés à des exercices futurs.
Ce guide est un outil évolutif recueillant l’expérience du personnel de l'UICN et des consultants chargés d’évaluations stratégiques. Il sera mis régulièrement à jour sur la base des commentaires et du retour des membres d’équipes d’évaluation et des responsables de l'UICN.
Ce guide a été élaboré par Marie-Hélène Adrien et Simon Thibault, du Groupe Universalia Management, en collaboration avec Nancy MacPherson, responsable de l’Initiative de suivi et d’évaluation de l'UICN.
Ce guide:
� contient la définition des évaluations stratégiques à l’UICN;
� précise leur portée et leur objectif;
� définit la composition des équipes évaluatrices; les ressources et d’autres caractéristiques générales de ce type d’évaluation; et enfin
� décrit les étapes d’une évaluation stratégique, comprenant la planification, la collecte de données, l’analyse des données, l’élaboration de rapports et la mise en œuvre des recommandations.
Les annexes comportent:
� des outils pour l’étape de planification de l’évaluation, tels qu’un cadre d’évaluation organisationnelle et une grille d’évaluation;
� des conseils afin de préparer les instruments de collecte de données, mettre en œuvre des méthodes de collecte courantes et préparer des présentations et des conclusions; et enfin
� des exemples des instruments de collecte de données pouvant être adaptés à des évaluations futures.
iv
1
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
1
IntroductionL’UICN entreprend chaque année des évaluations stratégiques axées sur les principales questions et difficultés liées à la performance d’unités organisationnelles telles que les Bureaux régionaux, les Programmes thématiques mondiaux ou les Commissions.
Fondé sur l’expérience des évaluations stratégiques entreprises à l’UICN depuis 2001, ce document contient des orientations destinées au personnel de suivi et d’évaluation (S&E) et aux directeurs de programme, servant à planifier et à gérer les évaluations stratégiques. Il passe en revue les étapes de l’évaluation et fournit des outils, des idées et des conseils utiles concernant ce qui est « à faire » ou « à ne pas oublier ». Il comprend aussi des exemples d’outils de collecte de données (questionnaires et protocoles d’entretien) utilisés lors d’évaluations passées et pouvant être adaptés à des exercices futurs.
Ce guide est un outil évolutif recueillant l’expérience du personnel de l'UICN et des consultants chargés d’évaluations stratégiques. Il sera mis régulièrement à jour sur la base des commentaires et du retour des membres d’équipes d’évaluation et des responsables de l'UICN.
Ce guide a été élaboré par Marie-Hélène Adrien et Simon Thibault, du Groupe Universalia Management, en collaboration avec Nancy MacPherson, responsable de l’Initiative de suivi et d’évaluation de l'UICN.
Ce guide:
� contient la définition des évaluations stratégiques à l’UICN;
� précise leur portée et leur objectif;
� définit la composition des équipes évaluatrices; les ressources et d’autres caractéristiques générales de ce type d’évaluation; et enfin
� décrit les étapes d’une évaluation stratégique, comprenant la planification, la collecte de données, l’analyse des données, l’élaboration de rapports et la mise en œuvre des recommandations.
Les annexes comportent:
� des outils pour l’étape de planification de l’évaluation, tels qu’un cadre d’évaluation organisationnelle et une grille d’évaluation;
� des conseils afin de préparer les instruments de collecte de données, mettre en œuvre des méthodes de collecte courantes et préparer des présentations et des conclusions; et enfin
� des exemples des instruments de collecte de données pouvant être adaptés à des évaluations futures.
iv
2
Guide des éva luat ions s t ra tég iques
3
Guide des évaluations stratégiques
2
1. Qu’est-ce qu’une évaluation stratégique?
1.1 Définition et portée Telle que définie par la politique d’évaluation de l'UICN adoptée par le Conseil en 2001, une évaluation stratégique est une évaluation ou examen d’un projet, programme, structure organisationnelle ou politique, entreprise à la demande du Directeur général, des cadres supérieurs de l’UICN ou du Conseil de l’Union.1 Depuis 2001, un certain nombre d’évaluations stratégiques ont été réalisées, portant dans un premier temps sur des programmes régionaux et nationaux et, plus récemment, sur des programmes mondiaux ainsi que sur les Commissions.
1.2 Objectif Une évaluation stratégique examine les principaux domaines stratégiques liés à la raison d'être, la pertinence, l'efficacité, l'efficience et la viabilité financière d’une structure, en vue de formuler des conclusions sur ses performances. Ce type d’évaluation est mené à la demande du Directeur général de l'UICN ou du Directeur du programme mondial, en raison de préoccupations spécifiques concernant les performances de la structure en question ou de questions posées lors des cycles annuels d’élaboration du programme et du budget.2 Les évaluations stratégiques sont conçues afin d’apprécier les performances et de définir des domaines d’amélioration. Leurs résultats servent à prendre des décisions importantes relatives à l’avenir d’une unité organisationnelle: raison d’être, objet, contenu, emplacement, portée, orientation, affectation de ressources. En ce sens, les évaluations stratégiques diffèrent des évaluations techniques approfondies des programmes, puisqu’elles visent à répondre à des questions stratégiques plus vastes et qu’elles examinent tant les performances organisationnelles que celles liées aux programmes.3
1.3 Unité d’évaluation Dans un premier temps, les évaluations stratégiques menées à l'UICN portaient sur les composantes organisationnelles et de programme des Bureaux régionaux de l’Union. Cette approche et les méthodes correspondantes sont cependant de plus en plus utilisées pour l’examen de programmes nationaux, de programmes thématiques mondiaux, de grands projets et des Commissions. Le cadre des évaluations stratégiques cherche à définir des questions organisationnelles susceptibles d’avoir une incidence sur l’ensemble des performances de la structure évaluée, y compris sur la mise en œuvre de son programme.
Il convient toutefois de noter qu’en règle générale il n’est pas possible d’évaluer toutes les composantes d’un Bureau régional dans le cadre du calendrier et du budget normalement mis à disposition par l'UICN pour des évaluations stratégiques. Nombre de Bureaux régionaux comportent plusieurs composantes: le Bureau régional lui-même, des bureaux nationaux, des bureaux de programme, des bureaux thématiques nationaux et des bureaux de projets. Afin d’utiliser au mieux le temps et les ressources disponibles, qui sont limités, une évaluation stratégique devrait être axée sur les principales questions liées au fonctionnement et aux performances d’ensemble du programme régional. Ces questions-là doivent être examinées d’une façon approfondie afin de prendre des décisions sur l’évolution de l’unité évaluée.
1 Politique d’évaluation de l'UICN, adoptée par le Conseil lors de sa 55e session, 28-30 octobre 2001, p.5. 2 Politique d’évaluation de l'UICN, op. cit., p.5. 3 Initiative de S&E de l'UICN, Un cadre pour la réalisation d’évaluations stratégiques à l’UICN, Projet soumis à l’examen de la Direction et du DG, décembre 2000, p.1.
Guide des évaluations stratégiques
3
1.4 Cadre de l’évaluation organisationnelle L'UICN emploie un cadre et un modèle d’évaluation stratégique conçu en 1999 par le Centre international de recherches sur le développement (CIRD) et Universalia. Ce cadre fournit à la direction de l’UICN et au Conseil:
� un ensemble agréé de domaines et de questions relatifs à la performance;
� des méthodes systématiques de collecte de données à partir d’acteurs multiples afin de tirer des conclusions, de procéder à des appréciations et de prendre des décisions stratégiques d’une façon transparente et justifiable;
� une grille permettant de présenter des rapports sur les performances organisationnelles.
Les éléments de ce cadre comprennent:
� un ensemble de grands domaines d’évaluation des performances pour lesquels la structure évaluée devrait améliorer ses propres performances (pertinence, efficacité, efficience, viabilité financière et impact);
� un ensemble de facteurs (capacités, motivation et contexte extérieur) ayant des incidences sur les performances dans chacun des domaines cités ci-dessus;
� les principales questions d’évaluation liées à ces domaines; et enfin
� des procédures transparentes de collecte de données et d’implication des parties prenantes afin de répondre aux grandes questions de l’évaluation, de procéder à des constatations et de formuler des conclusions relatives aux performances de l’unité évaluée.4
Les grands domaines de performances à évaluer et les facteurs influant sur ces performances sont présentés dans les Annexes I et II.
1.5 Qu’est-ce qui déclenche une évaluation stratégique et qui peut la mettre en route?
Les évaluations stratégiques sont habituellement déclenchées par des interrogations ou des incertitudes liées au mandat, à la viabilité financière ou à l’emplacement d’un bureau ou d’un programme, à ses liens avec les membres de l’Union, les donateurs ou d’autres partenaires. Dans ces cas, une évaluation stratégique peut être demandée par la direction de l’UICN, ou lancée par un directeur régional ou le directeur d’un programme, afin d’obtenir des principales parties prenantes des informations sur la façon dont elles perçoivent les performances d’une structure de l'UICN.
1.6 Caractéristiques d’une démarche d’évaluation stratégique A l'UICN, les évaluations stratégiques sont fondées sur des éléments d’évaluation interne par des pairs. Si l’objectif premier d’une évaluation stratégique consiste à encourager des améliorations des performances de la structure concernée, elle a aussi pour objectif secondaire de renforcer les capacités des gestionnaires de l'UICN en matière d’évaluations internes.
Les principes des évaluations stratégiques comprennent ceux définis par la politique d’évaluation de l'UICN, notamment:
4 Initiative S&E de l'UICN, Un cadre pour les évaluations stratégiques à l'UICN, op. cit., p.1.
2 3
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
2
1. Qu’est-ce qu’une évaluation stratégique?
1.1 Définition et portée Telle que définie par la politique d’évaluation de l'UICN adoptée par le Conseil en 2001, une évaluation stratégique est une évaluation ou examen d’un projet, programme, structure organisationnelle ou politique, entreprise à la demande du Directeur général, des cadres supérieurs de l’UICN ou du Conseil de l’Union.1 Depuis 2001, un certain nombre d’évaluations stratégiques ont été réalisées, portant dans un premier temps sur des programmes régionaux et nationaux et, plus récemment, sur des programmes mondiaux ainsi que sur les Commissions.
1.2 Objectif Une évaluation stratégique examine les principaux domaines stratégiques liés à la raison d'être, la pertinence, l'efficacité, l'efficience et la viabilité financière d’une structure, en vue de formuler des conclusions sur ses performances. Ce type d’évaluation est mené à la demande du Directeur général de l'UICN ou du Directeur du programme mondial, en raison de préoccupations spécifiques concernant les performances de la structure en question ou de questions posées lors des cycles annuels d’élaboration du programme et du budget.2 Les évaluations stratégiques sont conçues afin d’apprécier les performances et de définir des domaines d’amélioration. Leurs résultats servent à prendre des décisions importantes relatives à l’avenir d’une unité organisationnelle: raison d’être, objet, contenu, emplacement, portée, orientation, affectation de ressources. En ce sens, les évaluations stratégiques diffèrent des évaluations techniques approfondies des programmes, puisqu’elles visent à répondre à des questions stratégiques plus vastes et qu’elles examinent tant les performances organisationnelles que celles liées aux programmes.3
1.3 Unité d’évaluation Dans un premier temps, les évaluations stratégiques menées à l'UICN portaient sur les composantes organisationnelles et de programme des Bureaux régionaux de l’Union. Cette approche et les méthodes correspondantes sont cependant de plus en plus utilisées pour l’examen de programmes nationaux, de programmes thématiques mondiaux, de grands projets et des Commissions. Le cadre des évaluations stratégiques cherche à définir des questions organisationnelles susceptibles d’avoir une incidence sur l’ensemble des performances de la structure évaluée, y compris sur la mise en œuvre de son programme.
Il convient toutefois de noter qu’en règle générale il n’est pas possible d’évaluer toutes les composantes d’un Bureau régional dans le cadre du calendrier et du budget normalement mis à disposition par l'UICN pour des évaluations stratégiques. Nombre de Bureaux régionaux comportent plusieurs composantes: le Bureau régional lui-même, des bureaux nationaux, des bureaux de programme, des bureaux thématiques nationaux et des bureaux de projets. Afin d’utiliser au mieux le temps et les ressources disponibles, qui sont limités, une évaluation stratégique devrait être axée sur les principales questions liées au fonctionnement et aux performances d’ensemble du programme régional. Ces questions-là doivent être examinées d’une façon approfondie afin de prendre des décisions sur l’évolution de l’unité évaluée.
1 Politique d’évaluation de l'UICN, adoptée par le Conseil lors de sa 55e session, 28-30 octobre 2001, p.5. 2 Politique d’évaluation de l'UICN, op. cit., p.5. 3 Initiative de S&E de l'UICN, Un cadre pour la réalisation d’évaluations stratégiques à l’UICN, Projet soumis à l’examen de la Direction et du DG, décembre 2000, p.1.
Guide des évaluations stratégiques
3
1.4 Cadre de l’évaluation organisationnelle L'UICN emploie un cadre et un modèle d’évaluation stratégique conçu en 1999 par le Centre international de recherches sur le développement (CIRD) et Universalia. Ce cadre fournit à la direction de l’UICN et au Conseil:
� un ensemble agréé de domaines et de questions relatifs à la performance;
� des méthodes systématiques de collecte de données à partir d’acteurs multiples afin de tirer des conclusions, de procéder à des appréciations et de prendre des décisions stratégiques d’une façon transparente et justifiable;
� une grille permettant de présenter des rapports sur les performances organisationnelles.
Les éléments de ce cadre comprennent:
� un ensemble de grands domaines d’évaluation des performances pour lesquels la structure évaluée devrait améliorer ses propres performances (pertinence, efficacité, efficience, viabilité financière et impact);
� un ensemble de facteurs (capacités, motivation et contexte extérieur) ayant des incidences sur les performances dans chacun des domaines cités ci-dessus;
� les principales questions d’évaluation liées à ces domaines; et enfin
� des procédures transparentes de collecte de données et d’implication des parties prenantes afin de répondre aux grandes questions de l’évaluation, de procéder à des constatations et de formuler des conclusions relatives aux performances de l’unité évaluée.4
Les grands domaines de performances à évaluer et les facteurs influant sur ces performances sont présentés dans les Annexes I et II.
1.5 Qu’est-ce qui déclenche une évaluation stratégique et qui peut la mettre en route?
Les évaluations stratégiques sont habituellement déclenchées par des interrogations ou des incertitudes liées au mandat, à la viabilité financière ou à l’emplacement d’un bureau ou d’un programme, à ses liens avec les membres de l’Union, les donateurs ou d’autres partenaires. Dans ces cas, une évaluation stratégique peut être demandée par la direction de l’UICN, ou lancée par un directeur régional ou le directeur d’un programme, afin d’obtenir des principales parties prenantes des informations sur la façon dont elles perçoivent les performances d’une structure de l'UICN.
1.6 Caractéristiques d’une démarche d’évaluation stratégique A l'UICN, les évaluations stratégiques sont fondées sur des éléments d’évaluation interne par des pairs. Si l’objectif premier d’une évaluation stratégique consiste à encourager des améliorations des performances de la structure concernée, elle a aussi pour objectif secondaire de renforcer les capacités des gestionnaires de l'UICN en matière d’évaluations internes.
Les principes des évaluations stratégiques comprennent ceux définis par la politique d’évaluation de l'UICN, notamment:
4 Initiative S&E de l'UICN, Un cadre pour les évaluations stratégiques à l'UICN, op. cit., p.1.
4
Guide des éva luat ions s t ra tég iques
5
Guide des évaluations stratégiques
4
� promotion d’une culture de l’évaluation: une manière de penser et une manière d’agir;
� responsabilité axée sur des résultats: amélioration de la mise en œuvre des activités de l'UICN et de la réalisation de sa mission;
� appropriation: une participation durable et une appropriation du processus d’évaluation contribuent à améliorer la planification, la prise de décisions et l’élaboration de stratégies à tous les niveaux;
� contrôle de qualité: application de normes correspondant aux meilleures pratiques en matière d’évaluation;
� partenariats avec des acteurs multiples: les parties touchées par les résultats d’une évaluation ont le droit d’y participer;
� transparence pour ce qui est de l’objectif, des questions et des utilisations prévues de l’évaluation;
� accès: les résultats des évaluations doivent être accessibles au personnel de l'UICN et à d’autres acteurs fortement impliqués;
� caractère éthique: il faut prendre dûment en considération les participants à l’évaluation ainsi que les parties prenantes pouvant être touchées par cette dernière;
� impartialité: appréciation équitable des forces et des faiblesses, évitant les distorsions générées par des sentiments et des partis pris personnels;
� crédibilité: de la conception, de la méthodologie et de la collecte de données, qui doivent être fondées sur les normes correspondant aux meilleures pratiques internationalement admises en matière d’évaluation;
� utilité: eu égard aux besoins d’information des utilisateurs de l’évaluation.
1.7 Composition des équipes d’évaluation stratégique Fondées sur les pratiques d’évaluation par des pairs, les équipes d’évaluation stratégique comprennent en règle générale un cadre supérieur de l'UICN en qualité de responsable de l'évaluation, un gestionnaire technique de programme de l'UICN de niveau intermédiaire et un consultant extérieur. L’équipe est en général restreinte (pas plus de trois personnes). Cependant, elle peut être élargie en fonction de l’importance de la région ou du programme, de la portée de la collecte de données et de la complexité des questions à traiter. Ainsi, lors de l’évaluation stratégique du Bureau régional pour l’Afrique de l’Ouest (BRAO) des responsables de l'UICN et des experts d’autres régions se sont joints à l’équipe évaluatrice afin d’apporter une contribution à des éléments spécifiques de l’évaluation et d’encourager les échanges entre régions.
Les collaborateurs de l’Initiative S&E, ainsi que les consultants, s’assurent que le mandat de l’évaluation et la méthodologie sont adaptés, contribuant si nécessaire à la mise au point d’outils de collecte de données et de protocoles d’entretien; ils conseillent également l’équipe d’évaluation sur différents aspects du processus d’évaluation selon que de besoin. Dans certains cas, l’unité de S&E contribue à la collecte de données. Les évaluations doivent s’appuyer sur l’autorité de la direction de l'UICN afin d’assurer leur crédibilité et la mise en œuvre des recommandations qui en découlent. Les équipes évaluatrices devraient comporter des collaborateurs de haut niveau de l’organisation, crédibles et respectés par les composantes du programme (régions, Commissions, composantes thématiques) et par le Conseil. Les consultants extérieurs peuvent aussi jouer un rôle important au sein de ces équipes en y apportant des avis indépendants, notamment lorsque des donateurs ont besoin d’une évaluation extérieure répondant à des
Guide des évaluations stratégiques
5
interrogations spécifiques sur les performances d’un bureau régional ou d’un programme thématique mondial, ou que l’évaluation nécessite des activités importantes de collecte et d’analyse de données.
1.8 Ressources et calendrier Relativement récente à l’intérieur de l’UICN, l’évaluation évolue pour ce qui est du soutien institutionnel et de l’affectation de ressources. Un montant modeste est attribué chaque année aux évaluations stratégiques. Le budget moyen se trouve dans une fourchette de 30 000 à 50 000 francs suisses, en fonction de l’importance et de la couverture géographique du Programme. Ces sommes couvrent les coûts directs de l’évaluation (déplacements, dépenses de terrain, méthodologie de S&E, collecte de données et traduction) mais ne comprennent pas les coûts correspondant au temps passé par le personnel de l'UICN. Un tel montant représente le minimum requis afin de réaliser une évaluation stratégique adaptée et crédible d’un Bureau régional ou d’un programme thématique mondial.
Trois ou quatre semaines au moins sont nécessaires à la mise en œuvre d’une évaluation stratégique, comprenant une collecte importante de données, l’analyse des informations et le travail de terrain. Si l’on ajoute le temps nécessaire à la planification, la gestion et la préparation des rapports, l’ensemble nécessite une période allant de six semaines à quatre mois.
Les responsables de l'UICN membres d’une équipe d’évaluation s’y engagent d’une façon très active; ils doivent en conséquence être dégagés d’autres tâches. Souvent, les cadres techniques intermédiaires et le consultant extérieur participent davantage au travail de terrain que le responsable dirigeant l’équipe évaluatrice, puisque ce dernier a moins de temps disponible à consacrer à de tels travaux.
Les dirigeants de l'UICN ont peu de collaborateurs de remplacement leur permettant de se dégager de leurs responsabilités afin de consacrer le temps nécessaire à une équipe d’évaluation stratégique, ce qui représente une contrainte importante pour la démarche d’évaluation par des pairs au sein de l’Union.
1.9 Utilisateurs des résultats Une évaluation stratégique est destinée à différents utilisateurs, notamment:
� Le Directeur général, le Conseil de l'UICN et/ou le Bureau du Conseil, qui se servent des évaluations afin de prendre des décisions liées à la raison d'être, l’objet, le contenu, l’emplacement, l’orientation et la viabilité des structures organisationnelles, et de présenter des rapports annuels de performance au Conseil de l'UICN.
� Les dirigeants de l'UICN, notamment le Directeur général et le Directeur du programme mondial, à des fins de suivi régulier des performances des bureaux et des programmes de l'UICN dans le monde entier.
� Le directeur, responsable ou animateur de l’unité organisationnelle évaluée, à des fins d’amélioration de la gestion, des mécanismes de programme et de l’obtention des résultats.
� Le personnel de l’unité évaluée, en vue d’une meilleure connaissance des performances de cette dernière et de mieux atteindre les résultats.
� Les membres de l’Union, dans le cadre de leur fonction de gouvernance relative au suivi du programme mondial et des performances de l’Union, exercée lors des Congrès mondiaux. 5
En raison du grand nombre d’utilisateurs, il est important de bien préciser le but de l’évaluation concernée (les motifs l’ayant déclenchée) et son public (commanditaire et principaux utilisateurs). Ces deux éléments peuvent contribuer à définir l’objet, le ton, la portée et le niveau de détail requis lors de l’évaluation.
5 Ibid, pp.1-2.
4 5
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
4
� promotion d’une culture de l’évaluation: une manière de penser et une manière d’agir;
� responsabilité axée sur des résultats: amélioration de la mise en œuvre des activités de l'UICN et de la réalisation de sa mission;
� appropriation: une participation durable et une appropriation du processus d’évaluation contribuent à améliorer la planification, la prise de décisions et l’élaboration de stratégies à tous les niveaux;
� contrôle de qualité: application de normes correspondant aux meilleures pratiques en matière d’évaluation;
� partenariats avec des acteurs multiples: les parties touchées par les résultats d’une évaluation ont le droit d’y participer;
� transparence pour ce qui est de l’objectif, des questions et des utilisations prévues de l’évaluation;
� accès: les résultats des évaluations doivent être accessibles au personnel de l'UICN et à d’autres acteurs fortement impliqués;
� caractère éthique: il faut prendre dûment en considération les participants à l’évaluation ainsi que les parties prenantes pouvant être touchées par cette dernière;
� impartialité: appréciation équitable des forces et des faiblesses, évitant les distorsions générées par des sentiments et des partis pris personnels;
� crédibilité: de la conception, de la méthodologie et de la collecte de données, qui doivent être fondées sur les normes correspondant aux meilleures pratiques internationalement admises en matière d’évaluation;
� utilité: eu égard aux besoins d’information des utilisateurs de l’évaluation.
1.7 Composition des équipes d’évaluation stratégique Fondées sur les pratiques d’évaluation par des pairs, les équipes d’évaluation stratégique comprennent en règle générale un cadre supérieur de l'UICN en qualité de responsable de l'évaluation, un gestionnaire technique de programme de l'UICN de niveau intermédiaire et un consultant extérieur. L’équipe est en général restreinte (pas plus de trois personnes). Cependant, elle peut être élargie en fonction de l’importance de la région ou du programme, de la portée de la collecte de données et de la complexité des questions à traiter. Ainsi, lors de l’évaluation stratégique du Bureau régional pour l’Afrique de l’Ouest (BRAO) des responsables de l'UICN et des experts d’autres régions se sont joints à l’équipe évaluatrice afin d’apporter une contribution à des éléments spécifiques de l’évaluation et d’encourager les échanges entre régions.
Les collaborateurs de l’Initiative S&E, ainsi que les consultants, s’assurent que le mandat de l’évaluation et la méthodologie sont adaptés, contribuant si nécessaire à la mise au point d’outils de collecte de données et de protocoles d’entretien; ils conseillent également l’équipe d’évaluation sur différents aspects du processus d’évaluation selon que de besoin. Dans certains cas, l’unité de S&E contribue à la collecte de données. Les évaluations doivent s’appuyer sur l’autorité de la direction de l'UICN afin d’assurer leur crédibilité et la mise en œuvre des recommandations qui en découlent. Les équipes évaluatrices devraient comporter des collaborateurs de haut niveau de l’organisation, crédibles et respectés par les composantes du programme (régions, Commissions, composantes thématiques) et par le Conseil. Les consultants extérieurs peuvent aussi jouer un rôle important au sein de ces équipes en y apportant des avis indépendants, notamment lorsque des donateurs ont besoin d’une évaluation extérieure répondant à des
Guide des évaluations stratégiques
5
interrogations spécifiques sur les performances d’un bureau régional ou d’un programme thématique mondial, ou que l’évaluation nécessite des activités importantes de collecte et d’analyse de données.
1.8 Ressources et calendrier Relativement récente à l’intérieur de l’UICN, l’évaluation évolue pour ce qui est du soutien institutionnel et de l’affectation de ressources. Un montant modeste est attribué chaque année aux évaluations stratégiques. Le budget moyen se trouve dans une fourchette de 30 000 à 50 000 francs suisses, en fonction de l’importance et de la couverture géographique du Programme. Ces sommes couvrent les coûts directs de l’évaluation (déplacements, dépenses de terrain, méthodologie de S&E, collecte de données et traduction) mais ne comprennent pas les coûts correspondant au temps passé par le personnel de l'UICN. Un tel montant représente le minimum requis afin de réaliser une évaluation stratégique adaptée et crédible d’un Bureau régional ou d’un programme thématique mondial.
Trois ou quatre semaines au moins sont nécessaires à la mise en œuvre d’une évaluation stratégique, comprenant une collecte importante de données, l’analyse des informations et le travail de terrain. Si l’on ajoute le temps nécessaire à la planification, la gestion et la préparation des rapports, l’ensemble nécessite une période allant de six semaines à quatre mois.
Les responsables de l'UICN membres d’une équipe d’évaluation s’y engagent d’une façon très active; ils doivent en conséquence être dégagés d’autres tâches. Souvent, les cadres techniques intermédiaires et le consultant extérieur participent davantage au travail de terrain que le responsable dirigeant l’équipe évaluatrice, puisque ce dernier a moins de temps disponible à consacrer à de tels travaux.
Les dirigeants de l'UICN ont peu de collaborateurs de remplacement leur permettant de se dégager de leurs responsabilités afin de consacrer le temps nécessaire à une équipe d’évaluation stratégique, ce qui représente une contrainte importante pour la démarche d’évaluation par des pairs au sein de l’Union.
1.9 Utilisateurs des résultats Une évaluation stratégique est destinée à différents utilisateurs, notamment:
� Le Directeur général, le Conseil de l'UICN et/ou le Bureau du Conseil, qui se servent des évaluations afin de prendre des décisions liées à la raison d'être, l’objet, le contenu, l’emplacement, l’orientation et la viabilité des structures organisationnelles, et de présenter des rapports annuels de performance au Conseil de l'UICN.
� Les dirigeants de l'UICN, notamment le Directeur général et le Directeur du programme mondial, à des fins de suivi régulier des performances des bureaux et des programmes de l'UICN dans le monde entier.
� Le directeur, responsable ou animateur de l’unité organisationnelle évaluée, à des fins d’amélioration de la gestion, des mécanismes de programme et de l’obtention des résultats.
� Le personnel de l’unité évaluée, en vue d’une meilleure connaissance des performances de cette dernière et de mieux atteindre les résultats.
� Les membres de l’Union, dans le cadre de leur fonction de gouvernance relative au suivi du programme mondial et des performances de l’Union, exercée lors des Congrès mondiaux. 5
En raison du grand nombre d’utilisateurs, il est important de bien préciser le but de l’évaluation concernée (les motifs l’ayant déclenchée) et son public (commanditaire et principaux utilisateurs). Ces deux éléments peuvent contribuer à définir l’objet, le ton, la portée et le niveau de détail requis lors de l’évaluation.
5 Ibid, pp.1-2.
6
Guide des éva luat ions s t ra tég iques
7
Guide des évaluations stratégiques
6
1.10 Limites d’un processus d’évaluation stratégique Les évaluations stratégiques, telles que menées actuellement au sein de l'UICN, sont soumises à un certain nombre de contraintes qui en fixent les limites.
� Les apports des évaluations par des pairs pour ce qui est du renforcement des capacités sont souvent limités parce que les responsables dirigeant l’évaluation n’ont pas suffisamment de temps pour y participer pleinement, et encore moins de temps pour des sessions de formation et de coaching susceptibles d’améliorer les compétences en la matière.
� La collecte et l’analyse des données sont limitées par les contraintes de temps et de moyens disponibles pour les évaluations. L’unité de suivi et d’évaluation tente de s’assurer que la stratégie de collecte de données soit représentative de tous les acteurs impliqués (personnel de l'UICN, membres, partenaires, donateurs) et crédible quant à son étendue; cependant, ceci s’avère difficile dans des régions comptant des centaines de membres et différentes langues lorsque l’évaluation doit être réalisée dans des délais brefs.
� Les évaluations internes et les auto-évaluations sont souvent perçues comme étant moins indépendantes et moins objectives que les évaluations extérieures. Inhérente aux évaluations internes, cette contrainte n’est pas spécifique aux évaluations stratégiques de l'UICN.
Guide des évaluations stratégiques
7
2. Planification d’une évaluation stratégique Une évaluation stratégique comprend cinq grandes étapes: planification (ou étape préparatoire), collecte de données, analyse des données, présentation des rapports et mise en œuvre des évolutions recommandées. Le présent chapitre traite de la première étape.
Lorsque la décision d’entreprendre une évaluation a été prise, l’étape de planification commence. Cruciale pour le succès de l’évaluation stratégique, une bonne planification devrait comporter les éléments définis ci-dessous. Ces derniers ne sont pas impératifs, mais ils permettent de mettre en lumière des éléments facilitant les étapes ultérieures et de s’assurer que l’évaluation est complète et réussie. En règle générale, ces éléments sont mis au point par les collaborateurs de S&E avec les commanditaires de l’évaluation et les gestionnaires de la structure évaluée.
� Les termes de référence (mandat) de l’évaluation;
� une grille d’évaluation, comportant les domaines à évaluer, les questions principales et les sources d’information permettant d’y apporter des réponses;
� des méthodes et des outils appropriés de collecte de données;
� la composition de l’équipe d’évaluation;
� les fonctions et les responsabilités des membres de l’équipe d’évaluation;
� la gestion de l’évaluation; et enfin
� le calendrier ou le plan de travail pour l’évaluation.
2.1 Termes de référence Les termes de référence (TR) représentent le mandat de l’évaluation et comportent les principaux critères qui la guident, notamment (liste non limitative):
� le contexte de l’évaluation;
� sa raison d’être et son but;
� les domaines à examiner et les questions d’évaluation;
� les principales parties prenantes à l’évaluation;
� la méthodologie proposée;
� l’équipe évaluatrice;
� le calendrier ou plan de travail;
� l’effort à fournir par chacun des membres de l’équipe;
� une estimation des coûts;
� des annexes (dont la grille d’évaluation).
2.2 Définir les questions à examiner Les évaluations stratégiques sont commanditées par la direction de l’Union afin de répondre à des interrogations et à des préoccupations liées à des questions de pertinence, d’efficacité, de viabilité financière, d’emplacement d’une structure, etc. Lors de l’élaboration des termes de référence et de la grille d’évaluation, les collaborateurs de S&E et l'équipe évaluatrice devraient définir avec les responsables les principales questions à examiner, afin de bien préciser les préoccupations et les interrogations et de s’assurer qu’une évaluation stratégique est l’outil le plus adapté pour y répondre. Si
6 7
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
6
1.10 Limites d’un processus d’évaluation stratégique Les évaluations stratégiques, telles que menées actuellement au sein de l'UICN, sont soumises à un certain nombre de contraintes qui en fixent les limites.
� Les apports des évaluations par des pairs pour ce qui est du renforcement des capacités sont souvent limités parce que les responsables dirigeant l’évaluation n’ont pas suffisamment de temps pour y participer pleinement, et encore moins de temps pour des sessions de formation et de coaching susceptibles d’améliorer les compétences en la matière.
� La collecte et l’analyse des données sont limitées par les contraintes de temps et de moyens disponibles pour les évaluations. L’unité de suivi et d’évaluation tente de s’assurer que la stratégie de collecte de données soit représentative de tous les acteurs impliqués (personnel de l'UICN, membres, partenaires, donateurs) et crédible quant à son étendue; cependant, ceci s’avère difficile dans des régions comptant des centaines de membres et différentes langues lorsque l’évaluation doit être réalisée dans des délais brefs.
� Les évaluations internes et les auto-évaluations sont souvent perçues comme étant moins indépendantes et moins objectives que les évaluations extérieures. Inhérente aux évaluations internes, cette contrainte n’est pas spécifique aux évaluations stratégiques de l'UICN.
Guide des évaluations stratégiques
7
2. Planification d’une évaluation stratégique Une évaluation stratégique comprend cinq grandes étapes: planification (ou étape préparatoire), collecte de données, analyse des données, présentation des rapports et mise en œuvre des évolutions recommandées. Le présent chapitre traite de la première étape.
Lorsque la décision d’entreprendre une évaluation a été prise, l’étape de planification commence. Cruciale pour le succès de l’évaluation stratégique, une bonne planification devrait comporter les éléments définis ci-dessous. Ces derniers ne sont pas impératifs, mais ils permettent de mettre en lumière des éléments facilitant les étapes ultérieures et de s’assurer que l’évaluation est complète et réussie. En règle générale, ces éléments sont mis au point par les collaborateurs de S&E avec les commanditaires de l’évaluation et les gestionnaires de la structure évaluée.
� Les termes de référence (mandat) de l’évaluation;
� une grille d’évaluation, comportant les domaines à évaluer, les questions principales et les sources d’information permettant d’y apporter des réponses;
� des méthodes et des outils appropriés de collecte de données;
� la composition de l’équipe d’évaluation;
� les fonctions et les responsabilités des membres de l’équipe d’évaluation;
� la gestion de l’évaluation; et enfin
� le calendrier ou le plan de travail pour l’évaluation.
2.1 Termes de référence Les termes de référence (TR) représentent le mandat de l’évaluation et comportent les principaux critères qui la guident, notamment (liste non limitative):
� le contexte de l’évaluation;
� sa raison d’être et son but;
� les domaines à examiner et les questions d’évaluation;
� les principales parties prenantes à l’évaluation;
� la méthodologie proposée;
� l’équipe évaluatrice;
� le calendrier ou plan de travail;
� l’effort à fournir par chacun des membres de l’équipe;
� une estimation des coûts;
� des annexes (dont la grille d’évaluation).
2.2 Définir les questions à examiner Les évaluations stratégiques sont commanditées par la direction de l’Union afin de répondre à des interrogations et à des préoccupations liées à des questions de pertinence, d’efficacité, de viabilité financière, d’emplacement d’une structure, etc. Lors de l’élaboration des termes de référence et de la grille d’évaluation, les collaborateurs de S&E et l'équipe évaluatrice devraient définir avec les responsables les principales questions à examiner, afin de bien préciser les préoccupations et les interrogations et de s’assurer qu’une évaluation stratégique est l’outil le plus adapté pour y répondre. Si
8
Guide des éva luat ions s t ra tég iques
9
Guide des évaluations stratégiques
8
les enjeux posés concernent plutôt des questions de gestion et de direction de l’unité, une évaluation des performances du personnel pourrait s’avérer plus adaptée qu’une évaluation stratégique.
2.3 Utiliser la grille afin de définir les domaines à évaluer et les questions à poser
Les évaluations stratégiques examinent les performances en matière tant organisationnelle que programmatique. Afin de bien saisir ces dimensions, il est utile de se reporter à la grille pour les évaluations organisationnelles figurant en chapitre 1.4, afin de visualiser les éléments d’évaluation organisationnelle et de définir les domaines à évaluer et les facteurs ayant des incidences sur les performances. Les Annexes I et II comportent un cadre tiré du cadre d’évaluation organisationnelle mis au point par CIRD / Universalia et adapté à l'UICN.
Performances organisationnelles
L’équipe devrait définir les domaines de performance organisationnelle qui sont décisifs afin d’évaluer les performances de l’unité. L’UICN recommande à l’examen des commanditaires de l’évaluation l’efficacité, l’efficience, la pertinence, la viabilité financière et l’impact, généralement admis comme importants pour les performances d’une unité organisationnelle. Le lecteur trouvera en Annexe I une adaptation de ces éléments au contexte de l’UICN, avec des exemples de questions susceptibles d’être posées pour chacun d’entre eux. D’une manière générale, ces termes peuvent être entendus de la façon suivante :
� efficacité: dans quelle mesure l’unité de l'UICN est en mesure de réaliser sa mission et d’atteindre ses objectifs;
� efficience: dans quelle mesure l’unité de l'UICN utilise ses ressources d’une manière optimale afin d’atteindre ses objectifs ou ses buts;
� pertinence: dans quelle mesure la mission, les objectifs, les programmes et les projets d’une unité de l’UICN restent valables vis-à-vis des principales parties prenantes et de ses éléments constitutifs;
� viabilité financière: capacité de l’unité de l'UICN à s’assurer des ressources financières adaptées; et
� impact: effets prévus ou imprévus des activités de l’unité, à l’intérieur et à l’extérieur de l'UICN.
Afin d’approfondir l’examen de ces questions, l'équipe évaluatrice peut examiner trois éléments ayant des incidences importantes sur les performances organisationnelles. Premièrement, les capacités de l’unité évaluée, découlant des orientations stratégiques apportées par ses dirigeants, de ses ressources humaines, de sa gestion financière, des procédures organisationnelles, de la gestion des programmes, de ses équipements et des liens institutionnels. Deuxièmement, la motivation de ses collaborateurs, liée notamment à l’histoire, à la mission, à la culture, aux incitations et aux récompenses apportées par l’unité ainsi que par l’organisation dans son ensemble. Enfin, l’environnement dans lequel évolue l’unité, façonné par son contexte politique, économique, technologique, socio-culturel, administratif et juridique ainsi que par les parties prenantes extérieures. L’Annexe II présente ces éléments dans le contexte de l'UICN.
Performances en matière de programmes
Pour ce qui est des programmes, l'équipe évaluatrice devrait examiner un certain nombre d’interventions choisies de l’unité en matière de programmes ou de projets, dans les domaines de la conservation de l’environnement et de la biodiversité et du développement durable. Une évaluation stratégique ne peut pas réaliser une évaluation technique approfondie des programmes, mais elle peut échantillonner des résultats de programmes, comparer le portefeuille de programmes à l’analyse de la situation afin d’identifier
Guide des évaluations stratégiques
9
d’éventuelles lacunes importantes en matière de programmation; elle peut aussi examiner les résultats des évaluations de projets et de programmes. L'équipe évaluatrice devrait se pencher sur les projets et les programmes les plus importants pour la région, ainsi que sur ceux présentant les plus grands risques pour l'UICN (en matière financière, de programme ou d’image et de prestige).
2.4 Poser les bonnes questions Lorsque les domaines à évaluer ont été précisés, l'équipe évaluatrice devra poser un certain nombre de questions y afférentes. Ces dernières devraient mettre en lumière des domaines appelant une attention particulière afin de bien analyser les points à évaluer. Cette tâche est particulièrement importante. En posant les bonnes questions, la définition des indicateurs et la collecte de données seront grandement facilités. En outre, et ceci est encore plus crucial, il sera possible de s’assurer que l'équipe évaluatrice a bien traité les questions à évaluer.
En posant ces questions, ayez présent à l’esprit qu’il existe différents types de questions (descriptives, normatives, d’impact) ayant des implications différentes pour vos méthodes de collecte de données.
� Questions descriptives: elles nécessitent des informations descriptives sur des situations ou des événements spécifiques. Les réponses décrivent la situation telle qu’elle est.
� Questions normatives: elles comparent un résultat constaté à des critères fixés préalablement ou à des niveaux attendus de performance. Les réponses indiquent ce qui devrait être fait.
� Questions d’impact: elles se posent la question de savoir si des situations ou des événements spécifiques peuvent être la conséquence d’activités de programme. Les réponses décrivent des relations de cause à effet.6
Dans la plupart des cas, une combinaison de ces différentes catégories de questions permettra d’obtenir les informations nécessaires afin d’évaluer le domaine de performance examiné.
Le tableau ci-dessous fournit des exemples de questions à poser dans le domaine de l’efficience. Lors de la mise au point de ces questions, ayez toujours présentes à l’esprit les informations dont vous avez besoin pour éclairer les domaines de performance. Les Annexes I et II comportent des exemples de questions importantes pour les cinq grands domaines de performance et pour les éléments influant sur les performances décrits précédemment.
Tableau 2.1 Exemples de catégories de questions
DOMAINE QUESTIONS PRINCIPALES CATÉGORIE DE QUESTION
Comment les fonds ont-ils été affectés cette année?
Descriptive
Les fonds ont-ils été déboursés conformément aux procédures budgétaires en vigueur?
Normative
Efficience de l’utilisation des ressources
Le budget prévu était-il adapté aux besoins de l’organisation?
D’impact
Selon les ressources financières disponibles pour l’évaluation, il peut être utile de fixer des priorités parmi les questions. Pour ce faire, l’on peut tenir compte notamment des critères ci-dessous:
6 Ibid, p.21.
8 9
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
8
les enjeux posés concernent plutôt des questions de gestion et de direction de l’unité, une évaluation des performances du personnel pourrait s’avérer plus adaptée qu’une évaluation stratégique.
2.3 Utiliser la grille afin de définir les domaines à évaluer et les questions à poser
Les évaluations stratégiques examinent les performances en matière tant organisationnelle que programmatique. Afin de bien saisir ces dimensions, il est utile de se reporter à la grille pour les évaluations organisationnelles figurant en chapitre 1.4, afin de visualiser les éléments d’évaluation organisationnelle et de définir les domaines à évaluer et les facteurs ayant des incidences sur les performances. Les Annexes I et II comportent un cadre tiré du cadre d’évaluation organisationnelle mis au point par CIRD / Universalia et adapté à l'UICN.
Performances organisationnelles
L’équipe devrait définir les domaines de performance organisationnelle qui sont décisifs afin d’évaluer les performances de l’unité. L’UICN recommande à l’examen des commanditaires de l’évaluation l’efficacité, l’efficience, la pertinence, la viabilité financière et l’impact, généralement admis comme importants pour les performances d’une unité organisationnelle. Le lecteur trouvera en Annexe I une adaptation de ces éléments au contexte de l’UICN, avec des exemples de questions susceptibles d’être posées pour chacun d’entre eux. D’une manière générale, ces termes peuvent être entendus de la façon suivante :
� efficacité: dans quelle mesure l’unité de l'UICN est en mesure de réaliser sa mission et d’atteindre ses objectifs;
� efficience: dans quelle mesure l’unité de l'UICN utilise ses ressources d’une manière optimale afin d’atteindre ses objectifs ou ses buts;
� pertinence: dans quelle mesure la mission, les objectifs, les programmes et les projets d’une unité de l’UICN restent valables vis-à-vis des principales parties prenantes et de ses éléments constitutifs;
� viabilité financière: capacité de l’unité de l'UICN à s’assurer des ressources financières adaptées; et
� impact: effets prévus ou imprévus des activités de l’unité, à l’intérieur et à l’extérieur de l'UICN.
Afin d’approfondir l’examen de ces questions, l'équipe évaluatrice peut examiner trois éléments ayant des incidences importantes sur les performances organisationnelles. Premièrement, les capacités de l’unité évaluée, découlant des orientations stratégiques apportées par ses dirigeants, de ses ressources humaines, de sa gestion financière, des procédures organisationnelles, de la gestion des programmes, de ses équipements et des liens institutionnels. Deuxièmement, la motivation de ses collaborateurs, liée notamment à l’histoire, à la mission, à la culture, aux incitations et aux récompenses apportées par l’unité ainsi que par l’organisation dans son ensemble. Enfin, l’environnement dans lequel évolue l’unité, façonné par son contexte politique, économique, technologique, socio-culturel, administratif et juridique ainsi que par les parties prenantes extérieures. L’Annexe II présente ces éléments dans le contexte de l'UICN.
Performances en matière de programmes
Pour ce qui est des programmes, l'équipe évaluatrice devrait examiner un certain nombre d’interventions choisies de l’unité en matière de programmes ou de projets, dans les domaines de la conservation de l’environnement et de la biodiversité et du développement durable. Une évaluation stratégique ne peut pas réaliser une évaluation technique approfondie des programmes, mais elle peut échantillonner des résultats de programmes, comparer le portefeuille de programmes à l’analyse de la situation afin d’identifier
Guide des évaluations stratégiques
9
d’éventuelles lacunes importantes en matière de programmation; elle peut aussi examiner les résultats des évaluations de projets et de programmes. L'équipe évaluatrice devrait se pencher sur les projets et les programmes les plus importants pour la région, ainsi que sur ceux présentant les plus grands risques pour l'UICN (en matière financière, de programme ou d’image et de prestige).
2.4 Poser les bonnes questions Lorsque les domaines à évaluer ont été précisés, l'équipe évaluatrice devra poser un certain nombre de questions y afférentes. Ces dernières devraient mettre en lumière des domaines appelant une attention particulière afin de bien analyser les points à évaluer. Cette tâche est particulièrement importante. En posant les bonnes questions, la définition des indicateurs et la collecte de données seront grandement facilités. En outre, et ceci est encore plus crucial, il sera possible de s’assurer que l'équipe évaluatrice a bien traité les questions à évaluer.
En posant ces questions, ayez présent à l’esprit qu’il existe différents types de questions (descriptives, normatives, d’impact) ayant des implications différentes pour vos méthodes de collecte de données.
� Questions descriptives: elles nécessitent des informations descriptives sur des situations ou des événements spécifiques. Les réponses décrivent la situation telle qu’elle est.
� Questions normatives: elles comparent un résultat constaté à des critères fixés préalablement ou à des niveaux attendus de performance. Les réponses indiquent ce qui devrait être fait.
� Questions d’impact: elles se posent la question de savoir si des situations ou des événements spécifiques peuvent être la conséquence d’activités de programme. Les réponses décrivent des relations de cause à effet.6
Dans la plupart des cas, une combinaison de ces différentes catégories de questions permettra d’obtenir les informations nécessaires afin d’évaluer le domaine de performance examiné.
Le tableau ci-dessous fournit des exemples de questions à poser dans le domaine de l’efficience. Lors de la mise au point de ces questions, ayez toujours présentes à l’esprit les informations dont vous avez besoin pour éclairer les domaines de performance. Les Annexes I et II comportent des exemples de questions importantes pour les cinq grands domaines de performance et pour les éléments influant sur les performances décrits précédemment.
Tableau 2.1 Exemples de catégories de questions
DOMAINE QUESTIONS PRINCIPALES CATÉGORIE DE QUESTION
Comment les fonds ont-ils été affectés cette année?
Descriptive
Les fonds ont-ils été déboursés conformément aux procédures budgétaires en vigueur?
Normative
Efficience de l’utilisation des ressources
Le budget prévu était-il adapté aux besoins de l’organisation?
D’impact
Selon les ressources financières disponibles pour l’évaluation, il peut être utile de fixer des priorités parmi les questions. Pour ce faire, l’on peut tenir compte notamment des critères ci-dessous:
6 Ibid, p.21.
10
Guide des éva luat ions s t ra tég iques
11
Guide des évaluations stratégiques
10
� possibilité de répondre à la question dans le cadre des ressources disponibles;
� importance d’avoir la réponse à une question spécifique dans le cadre de l’objectif d’ensemble de l’évaluation; et enfin,
� équilibre entre des questions répondant aux priorités ou aux intérêts des différentes parties prenantes.
Le but consiste à mettre au point des questions pouvant trouver une réponse, d’une façon réaliste, dans le cadre de la portée et des contraintes de l’évaluation stratégique, ainsi que des questions particulièrement utiles aux principales parties prenantes à l’évaluation. Les questions ne nécessitant pas de réponse ou auxquelles l’on ne pourra répondre dans le cadre des moyens disponibles ne doivent pas être posées. Lors du choix, il est utile de distinguer entre ce que l’on a « besoin de savoir » et ce qu’on « aimerait savoir ».
2.5 Définition des indicateurs Un indicateur est un outil de mesure permettant de préciser et de mesurer un concept. Il s’agit d’une variable ou d’un élément quantitatif ou qualitatif permettant, d’une façon simple et fiable, de mesurer les résultats obtenus, de refléter des évolutions ou de contribuer à faire évoluer les performances. Les indicateurs précisent également les catégories d’informations qui contribueront à répondre aux principales questions de l’évaluation stratégique.
� Les indicateurs quantitatifs son des « représentations chiffrées » d’un concept (par exemple, le nombre de collaborateurs de l'UICN formés lors d’un atelier sur la gestion des zones humides).7
� Les indicateurs qualitatifs sont plus immatériels; ils représentent en règle générale des opinions ou des perceptions des personnes dans une situation donnée (par exemple, la perception par les collaborateurs de l'UICN de l’utilité, pour leur travail, de la formation sur la gestion des zones humides).
L’exemple ci-dessous, relatif à une organisation factice, illustre davantage la différence entre ces deux sortes d’indicateurs.
Tableau 2.2 Exemples des catégories d’indicateurs
QUESTION INDICATEUR CATÉGORIES D’INDICATEURS
Nombre d’articles relatifs à l’équité de genre publiés par le centre de recherches depuis trois ans
Indicateur quantitatif
Nombre d’exemplaires relatifs à l’équité de genre diffusés par le centre de recherches depuis trois ans
Indicateur quantitatif
Nombre de personnes ayant lu des publications sur l’équité de genre du centre de recherches depuis trois ans
Indicateur quantitatif
Quel est l’impact du centre de recherches malien « Femmes en action » pour ce qui est du progrès des concepts de parité de genre au Mali depuis trois ans ?
Perceptions de spécialistes importants de la parité au Mali sur l’impact des publications du centre de recherche en matière de sensibilisation aux questions d’équité de genre au Mali depuis trois ans
Indicateur qualitatif
7 Ibid, p.22.
Guide des évaluations stratégiques
11
Perceptions des ONG féminines œuvrant en faveur de l’équité de genre au Mali sur l’impact des publications du centre de recherches en matière de sensibilisation
Indicateur qualitatif
Certains indicateurs s’avèrent plus difficiles à évaluer que d’autres, en fonction des ressources de l'équipe évaluatrice. Ainsi, pour les indicateurs quantitatifs, il est bien plus facile de chiffrer le nombre d’articles publiés par le centre de recherche que d’évaluer le nombre de personnes les ayant lus. Cependant, cette dernière donnée peut être un meilleur indicateur de l’impact sociétal potentiel du centre, puisqu’il illustre mieux quel est son public. Quant aux indicateurs qualitatifs, ils sont souvent, comme indiqué précédemment, fondés sur des perceptions de situations ou d’événements et servent à saisir la variété d’impacts chez les personnes.
2.6 Définir des sources de données Les documents et les personnes sont les sources d’information principales requises afin de répondre aux questions posées et de suivre les indicateurs définis au chapitre précédent.
Documents internes et externes
Les documents sont toujours une source importante d’informations pour les évaluations stratégiques de l'UICN et un bon point de départ pour la collecte de données.
Parmi les documents utiles, il convient de mentionner:
� Plans du programme intersessionnel
� Plans stratégiques
� Analyses de situations
� Plans de travail annuels
� Rapports annuels d’état d’avancement
� Rapports trimestriels de suivi
� Documents financiers, audits
� Documents de programme et de projet (propositions, plans)
� Rapports aux organismes donateurs
� Rapports d’évaluation
� Articles dans les médias.
Les personnes comme sources d’informations
Les parties prenantes liées à l’unité devraient participer aux évaluations stratégiques. La difficulté pour l'équipe évaluatrice consiste à déterminer qui impliquer et comment.
Les réponses aux questions suivantes peuvent contribuer à définir les parties prenantes à impliquer:
� Qu’avez-vous besoin de savoir? Quelles seraient les opinions et expériences pertinentes?
� Qui prend des décisions relatives à l’unité?
� Qui devrait agir suite à ces décisions?
� Qui pourrait bénéficier d’une analyse collaborative des problèmes?
Note sur l’accès aux sources d’informations:
� Avons-nous un accès adapté aux principales parties prenantes à impliquer?
� Avons-nous un accès adapté aux principaux documents?
� Avons-nous un accès adapté aux principaux équipements?
10 11
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
10
� possibilité de répondre à la question dans le cadre des ressources disponibles;
� importance d’avoir la réponse à une question spécifique dans le cadre de l’objectif d’ensemble de l’évaluation; et enfin,
� équilibre entre des questions répondant aux priorités ou aux intérêts des différentes parties prenantes.
Le but consiste à mettre au point des questions pouvant trouver une réponse, d’une façon réaliste, dans le cadre de la portée et des contraintes de l’évaluation stratégique, ainsi que des questions particulièrement utiles aux principales parties prenantes à l’évaluation. Les questions ne nécessitant pas de réponse ou auxquelles l’on ne pourra répondre dans le cadre des moyens disponibles ne doivent pas être posées. Lors du choix, il est utile de distinguer entre ce que l’on a « besoin de savoir » et ce qu’on « aimerait savoir ».
2.5 Définition des indicateurs Un indicateur est un outil de mesure permettant de préciser et de mesurer un concept. Il s’agit d’une variable ou d’un élément quantitatif ou qualitatif permettant, d’une façon simple et fiable, de mesurer les résultats obtenus, de refléter des évolutions ou de contribuer à faire évoluer les performances. Les indicateurs précisent également les catégories d’informations qui contribueront à répondre aux principales questions de l’évaluation stratégique.
� Les indicateurs quantitatifs son des « représentations chiffrées » d’un concept (par exemple, le nombre de collaborateurs de l'UICN formés lors d’un atelier sur la gestion des zones humides).7
� Les indicateurs qualitatifs sont plus immatériels; ils représentent en règle générale des opinions ou des perceptions des personnes dans une situation donnée (par exemple, la perception par les collaborateurs de l'UICN de l’utilité, pour leur travail, de la formation sur la gestion des zones humides).
L’exemple ci-dessous, relatif à une organisation factice, illustre davantage la différence entre ces deux sortes d’indicateurs.
Tableau 2.2 Exemples des catégories d’indicateurs
QUESTION INDICATEUR CATÉGORIES D’INDICATEURS
Nombre d’articles relatifs à l’équité de genre publiés par le centre de recherches depuis trois ans
Indicateur quantitatif
Nombre d’exemplaires relatifs à l’équité de genre diffusés par le centre de recherches depuis trois ans
Indicateur quantitatif
Nombre de personnes ayant lu des publications sur l’équité de genre du centre de recherches depuis trois ans
Indicateur quantitatif
Quel est l’impact du centre de recherches malien « Femmes en action » pour ce qui est du progrès des concepts de parité de genre au Mali depuis trois ans ?
Perceptions de spécialistes importants de la parité au Mali sur l’impact des publications du centre de recherche en matière de sensibilisation aux questions d’équité de genre au Mali depuis trois ans
Indicateur qualitatif
7 Ibid, p.22.
Guide des évaluations stratégiques
11
Perceptions des ONG féminines œuvrant en faveur de l’équité de genre au Mali sur l’impact des publications du centre de recherches en matière de sensibilisation
Indicateur qualitatif
Certains indicateurs s’avèrent plus difficiles à évaluer que d’autres, en fonction des ressources de l'équipe évaluatrice. Ainsi, pour les indicateurs quantitatifs, il est bien plus facile de chiffrer le nombre d’articles publiés par le centre de recherche que d’évaluer le nombre de personnes les ayant lus. Cependant, cette dernière donnée peut être un meilleur indicateur de l’impact sociétal potentiel du centre, puisqu’il illustre mieux quel est son public. Quant aux indicateurs qualitatifs, ils sont souvent, comme indiqué précédemment, fondés sur des perceptions de situations ou d’événements et servent à saisir la variété d’impacts chez les personnes.
2.6 Définir des sources de données Les documents et les personnes sont les sources d’information principales requises afin de répondre aux questions posées et de suivre les indicateurs définis au chapitre précédent.
Documents internes et externes
Les documents sont toujours une source importante d’informations pour les évaluations stratégiques de l'UICN et un bon point de départ pour la collecte de données.
Parmi les documents utiles, il convient de mentionner:
� Plans du programme intersessionnel
� Plans stratégiques
� Analyses de situations
� Plans de travail annuels
� Rapports annuels d’état d’avancement
� Rapports trimestriels de suivi
� Documents financiers, audits
� Documents de programme et de projet (propositions, plans)
� Rapports aux organismes donateurs
� Rapports d’évaluation
� Articles dans les médias.
Les personnes comme sources d’informations
Les parties prenantes liées à l’unité devraient participer aux évaluations stratégiques. La difficulté pour l'équipe évaluatrice consiste à déterminer qui impliquer et comment.
Les réponses aux questions suivantes peuvent contribuer à définir les parties prenantes à impliquer:
� Qu’avez-vous besoin de savoir? Quelles seraient les opinions et expériences pertinentes?
� Qui prend des décisions relatives à l’unité?
� Qui devrait agir suite à ces décisions?
� Qui pourrait bénéficier d’une analyse collaborative des problèmes?
Note sur l’accès aux sources d’informations:
� Avons-nous un accès adapté aux principales parties prenantes à impliquer?
� Avons-nous un accès adapté aux principaux documents?
� Avons-nous un accès adapté aux principaux équipements?
12
Guide des éva luat ions s t ra tég iques
13
Guide des évaluations stratégiques
12
� Quels sont les soutiens actifs nécessaires à la réussite de l’unité?
� Qui pourrait se sentir menacé par d’éventuelles évolutions de l’unité?8
Les principales parties prenantes lors d’évaluations stratégiques sont notamment les collaborateurs de l’unité évaluée, les membres et les partenaires de l'UICN, des représentants des autorités, des représentants locaux des projets et des donateurs. En outre, il faut tenir compte des liens verticaux et horizontaux des unités avec d’autres programmes régionaux, des Commissions et des programmes thématiques mondiaux. L’évaluation peut comporter aussi un échantillonnage de directeurs régionaux, responsables de programmes, responsables thématiques mondiaux ou régionaux et représentants des Commissions.
2.7 Quelles sont les méthodes nécessaires pour collecter des données? La planification d’une évaluation stratégique réussie comporte aussi le choix d’une méthode de collecte de données faisable et adaptée. Chacune des méthodes appliquées par l'UICN a ses forces et ses faiblesses, qui devraient être définies et discutées avec les principales parties prenantes; l'équipe évaluatrice devrait être en mesure de réduire autant que possible les effets des faiblesses de chaque méthode.
Principales méthodes utilisées lors des évaluations stratégiques
Examen de documents
Dans ce cadre, il convient d’identifier les documents écrits ou électroniques comportant des informations sur les questions à examiner. Une liste de documents utiles, dont des rapports annuels, des plans et des évaluations de projet ou de programme, des plans stratégiques, etc., est présentée dans le chapitre 2.6 ci-dessus. L’équipe doit définir les documents adaptés aux questions posées lors de l’évaluation. Ensuite, elle examine les documents et identifie les informations pertinentes. Elle doit pouvoir retrouver et citer les informations recueillies dans les documents.
Observation sur site
Cette méthode sert à rendre compte, sur site, de ce qui se passe dans un cadre donné: réunions du personnel, réunions régulières avec les partenaires, etc. Une mission sur des sites de projet peut contribuer à mieux saisir le contexte de mise en œuvre des projets et des programmes. Elle permet également de connaître la culture de l’unité, en particulier si les personnes concernées ont des réticences à participer à l’évaluation. Ces missions ne sont cependant pas toujours réalisables étant donné les contraintes de temps et l’éloignement des sites de terrain.
Questionnaires
Il s’agit de questionnaires sur papier ou électroniques distribués par courrier, fax ou courriel à un groupe préalablement défini. Si cette méthode est retenue, il est important de prévoir du temps pour tester d’une façon expérimentale les outils mis au point ou adaptés pour l’occasion, afin d’améliorer la qualité de l’outil et de s’assurer que le langage utilisé et les questions posées sont bien compris par les destinataires. L'équipe évaluatrice devrait définir le groupe ou l’échantillon consulté et définir par avance un taux admissible de réponse (en règle générale, plus de 50% dans le cas des évaluations stratégiques de l'UICN). Pour des conseils utiles sur la mise au point et l’utilisation des questionnaires, veuillez vous reporter au chapitre « Techniques de groupe pour la collecte de données ». Techniques de groupe (entretiens, groupes cibles, atelier avec animateur)
8 Questions tirées de Lisa Gosling et Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children, 1995, p.15
Guide des évaluations stratégiques
13
Entretien de groupe: un entretien de groupe (3 à 15 personnes) permet l’accès simultané aux connaissances d’un certain nombre de personnes. Il s’agit d’une discussion de groupe sur une question ou sujet préalablement défini, coordonnée par un animateur (personnellement ou par téléconférence).
Groupe cible: un groupe restreint de personnes (5 à 10) ayant des connaissances ou des intérêts spécifiques, ou partageant une caractéristique donnée, est invité à examiner des questions d’une façon approfondie. Lors de la séance, des questions définies par avance sont posées aux participants. Cependant, il ne s’agit pas d’atteindre un consensus ni de reconsidérer les positions de chacun, mais tout simplement de leur faire dire ce qu’ils pensent. Ces réunions ciblées servent également à préciser des questions spécifiques qui seront ensuite débattues par un groupe plus nombreux.
Atelier avec animateur: dans le contexte d’une évaluation stratégique, il peut être utile de prévoir un bref atelier afin de mener une analyse SWOT (forces, faiblesses, opportunités et menaces) de l’unité. Lors d’un tel atelier, il est possible de générer des idées et de fixer des priorités à examiner lors de l’évaluation stratégique.
Pour des conseils relatifs à l’utilisation des techniques de groupe, voir l’Annexe IV.
Entretiens individuels
A l’aide d’un guide d’entretien appelé protocole, l’enquêteur pose des questions en face à face ou au téléphone. Pour les évaluations stratégiques, des entretiens peuvent être prévus avec un petit nombre de partenaires, membres, donateurs ou collaborateurs de l’Union. Le choix de cette méthode peut être fondé sur les considérations suivantes:
� des informateurs importants, définis préalablement, que vous estimez plus utile d’interviewer au lieu de leur envoyer un questionnaire, afin de s’assurer que leurs avis sont pris en compte;
� des questions de protocole; ainsi, un entretien peut mieux convenir à des fonctionnaires gouvernementaux de haut niveau que l’envoi d’un questionnaire; et
� des questions découlant des résultats d’un questionnaire diffusé plus largement peuvent nécessiter des entretiens de suivi avec des acteurs importants.
Pour des conseils sur la conduite des entretiens, voir l’Annexe VI.
Forces et faiblesses des différentes méthodes
Le tableau ci-dessous met en évidence les forces et les faiblesses de chacune des méthodes de collecte de données couramment utilisées lors d’évaluations stratégiques ou d’évaluations tout court.
Tableau 2.3 Forces et faiblesses des méthodes de collecte des données
MÉTHODE FORCES FAIBLESSES
Questionnaires d’enquête
Très efficace pour collecter des données auprès d’une population étendue
Se prête à une analyse quantitative
Rentable et opportun
Nombre de personnes connaissent cet outil
Les personnes interrogées peuvent s’exprimer avec leurs propres mots pour répondre
Taux de réponse faible en l’absence d’un suivi actif
Entretiens Entretien en face à face:
Permet de collecter des informations en profondeur
Entretien en face à face:
Nécessite une préparation approfondie des questions
12 13
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
12
� Quels sont les soutiens actifs nécessaires à la réussite de l’unité?
� Qui pourrait se sentir menacé par d’éventuelles évolutions de l’unité?8
Les principales parties prenantes lors d’évaluations stratégiques sont notamment les collaborateurs de l’unité évaluée, les membres et les partenaires de l'UICN, des représentants des autorités, des représentants locaux des projets et des donateurs. En outre, il faut tenir compte des liens verticaux et horizontaux des unités avec d’autres programmes régionaux, des Commissions et des programmes thématiques mondiaux. L’évaluation peut comporter aussi un échantillonnage de directeurs régionaux, responsables de programmes, responsables thématiques mondiaux ou régionaux et représentants des Commissions.
2.7 Quelles sont les méthodes nécessaires pour collecter des données? La planification d’une évaluation stratégique réussie comporte aussi le choix d’une méthode de collecte de données faisable et adaptée. Chacune des méthodes appliquées par l'UICN a ses forces et ses faiblesses, qui devraient être définies et discutées avec les principales parties prenantes; l'équipe évaluatrice devrait être en mesure de réduire autant que possible les effets des faiblesses de chaque méthode.
Principales méthodes utilisées lors des évaluations stratégiques
Examen de documents
Dans ce cadre, il convient d’identifier les documents écrits ou électroniques comportant des informations sur les questions à examiner. Une liste de documents utiles, dont des rapports annuels, des plans et des évaluations de projet ou de programme, des plans stratégiques, etc., est présentée dans le chapitre 2.6 ci-dessus. L’équipe doit définir les documents adaptés aux questions posées lors de l’évaluation. Ensuite, elle examine les documents et identifie les informations pertinentes. Elle doit pouvoir retrouver et citer les informations recueillies dans les documents.
Observation sur site
Cette méthode sert à rendre compte, sur site, de ce qui se passe dans un cadre donné: réunions du personnel, réunions régulières avec les partenaires, etc. Une mission sur des sites de projet peut contribuer à mieux saisir le contexte de mise en œuvre des projets et des programmes. Elle permet également de connaître la culture de l’unité, en particulier si les personnes concernées ont des réticences à participer à l’évaluation. Ces missions ne sont cependant pas toujours réalisables étant donné les contraintes de temps et l’éloignement des sites de terrain.
Questionnaires
Il s’agit de questionnaires sur papier ou électroniques distribués par courrier, fax ou courriel à un groupe préalablement défini. Si cette méthode est retenue, il est important de prévoir du temps pour tester d’une façon expérimentale les outils mis au point ou adaptés pour l’occasion, afin d’améliorer la qualité de l’outil et de s’assurer que le langage utilisé et les questions posées sont bien compris par les destinataires. L'équipe évaluatrice devrait définir le groupe ou l’échantillon consulté et définir par avance un taux admissible de réponse (en règle générale, plus de 50% dans le cas des évaluations stratégiques de l'UICN). Pour des conseils utiles sur la mise au point et l’utilisation des questionnaires, veuillez vous reporter au chapitre « Techniques de groupe pour la collecte de données ». Techniques de groupe (entretiens, groupes cibles, atelier avec animateur)
8 Questions tirées de Lisa Gosling et Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children, 1995, p.15
Guide des évaluations stratégiques
13
Entretien de groupe: un entretien de groupe (3 à 15 personnes) permet l’accès simultané aux connaissances d’un certain nombre de personnes. Il s’agit d’une discussion de groupe sur une question ou sujet préalablement défini, coordonnée par un animateur (personnellement ou par téléconférence).
Groupe cible: un groupe restreint de personnes (5 à 10) ayant des connaissances ou des intérêts spécifiques, ou partageant une caractéristique donnée, est invité à examiner des questions d’une façon approfondie. Lors de la séance, des questions définies par avance sont posées aux participants. Cependant, il ne s’agit pas d’atteindre un consensus ni de reconsidérer les positions de chacun, mais tout simplement de leur faire dire ce qu’ils pensent. Ces réunions ciblées servent également à préciser des questions spécifiques qui seront ensuite débattues par un groupe plus nombreux.
Atelier avec animateur: dans le contexte d’une évaluation stratégique, il peut être utile de prévoir un bref atelier afin de mener une analyse SWOT (forces, faiblesses, opportunités et menaces) de l’unité. Lors d’un tel atelier, il est possible de générer des idées et de fixer des priorités à examiner lors de l’évaluation stratégique.
Pour des conseils relatifs à l’utilisation des techniques de groupe, voir l’Annexe IV.
Entretiens individuels
A l’aide d’un guide d’entretien appelé protocole, l’enquêteur pose des questions en face à face ou au téléphone. Pour les évaluations stratégiques, des entretiens peuvent être prévus avec un petit nombre de partenaires, membres, donateurs ou collaborateurs de l’Union. Le choix de cette méthode peut être fondé sur les considérations suivantes:
� des informateurs importants, définis préalablement, que vous estimez plus utile d’interviewer au lieu de leur envoyer un questionnaire, afin de s’assurer que leurs avis sont pris en compte;
� des questions de protocole; ainsi, un entretien peut mieux convenir à des fonctionnaires gouvernementaux de haut niveau que l’envoi d’un questionnaire; et
� des questions découlant des résultats d’un questionnaire diffusé plus largement peuvent nécessiter des entretiens de suivi avec des acteurs importants.
Pour des conseils sur la conduite des entretiens, voir l’Annexe VI.
Forces et faiblesses des différentes méthodes
Le tableau ci-dessous met en évidence les forces et les faiblesses de chacune des méthodes de collecte de données couramment utilisées lors d’évaluations stratégiques ou d’évaluations tout court.
Tableau 2.3 Forces et faiblesses des méthodes de collecte des données
MÉTHODE FORCES FAIBLESSES
Questionnaires d’enquête
Très efficace pour collecter des données auprès d’une population étendue
Se prête à une analyse quantitative
Rentable et opportun
Nombre de personnes connaissent cet outil
Les personnes interrogées peuvent s’exprimer avec leurs propres mots pour répondre
Taux de réponse faible en l’absence d’un suivi actif
Entretiens Entretien en face à face:
Permet de collecter des informations en profondeur
Entretien en face à face:
Nécessite une préparation approfondie des questions
14
Guide des éva luat ions s t ra tég iques
15
Guide des évaluations stratégiques
14
MÉTHODE FORCES FAIBLESSES
Permet une analyse approfondie et la recherche d’éléments adaptés à chaque personne
Valorise chacune des personnes interviewées
Taux de réponse élevé
Entretien téléphonique:
Plusieurs des avantages ci-dessus à un coût moindre
Permet de s’entretenir avec des parties prenantes éparpillées géographiquement
Permet un codage rapide des réponses sur papier ou sur ordinateur
Nécessite des personnes expérimentées et compétentes pour mener les entretiens
Peut conduire les personnes interrogées à donner des réponses destinées à plaire
L’analyse des informations ne dégage pas toujours des indications claires
Difficultés logistiques, méthode coûteuse en temps et en argent pour toutes les parties
Entretien téléphonique:
Certaines personnes trouvent cette méthode importune (peut être atténué si un rendez-vous a été pris d’avance)
Difficulté à retenir l’attention de la personne interrogée pendant une durée prolongée
Techniques de groupe
La synergie de groupe permet de tirer un maximum d’informations
Met en lumière la diversité de points de vue
Fournit une riche perspective qualitative
La démarche de groupe peut renforcer les attitudes sous-jacentes
Touche un grand nombre de personnes en un temps bref
Nécessite un animateur compétent
Ne se prête pas à des analyses quantitatives
Ne correspond pas à des informations sensibles
Nécessite une préparation approfondie des questions et de la logistique
Observation sur site Informations émanant de témoins directs
Permet de comparer des mots et des faits
Technique sensible lorsqu’elle est appliquée par un observateur qualifié
Se déroule dans un cadre naturel
Peut créer des situations artificielles
Peut fournir un échantillonnage incorrect des événements observés
Coûteuse en temps et en personnel
Peut refléter des partis pris de l’observateur
Examen de documents
Bonne source d’informations générales
Peut mettre en lumière des questions non décelées par d’autres moyens
Economique
Discret
Les informations peuvent être dépassées, inapplicables, désorganisées ou non disponibles
Peut véhiculer des partis pris en raison de la “survie sélective” d’informations
Peut nécessiter des recherches importantes
2.8 Comment définir la composition d’une équipe évaluatrice Il s’agit d’un élément crucial de l’étape de planification. Lors du choix de l’équipe, il est important de tenir compte des compétences et des points de vue que chacun des membres peut apporter sur les questions traités par l’évaluation stratégique, y compris une combinaison appropriée de compétences quantitatives et qualitatives, programmatiques et techniques, l’expérience de processus participatifs, des compétences en matière d’évaluation, etc.
L’équipe devrait être équilibrée pour ce qui est des points de vue internes et externes. Elle peut être composée exclusivement de collaborateurs de l'UICN ou associer des évaluateurs internes et externes. Lors de ce choix, il est important de prendre en considération tant les coûts que la qualité des résultats. En
Guide des évaluations stratégiques
15
effet, si l’on recrute un consultant extérieur, les coûts seront plus élevés, mais sa participation peut améliorer l’objectivité des analyses, réduire les partis pris, etc.
L’UICN recommande que les équipes d’évaluation stratégique soient composées d’un responsable de haut niveau de l'UICN (directeur régional, directeur d’un programme thématique) en tant que responsable de l’équipe, accompagné d’un gestionnaire de programme de l'UICN d’un niveau intermédiaire et d’un consultant extérieur apportant des compétences complémentaires. Les deux derniers devraient assurer des travaux importants de collecte et d’analyse de données.
2.9 Préciser les fonctions et les responsabilités des membres de l’équipe Les responsables de programme de haut niveau de l'UICN (directeurs régionaux, directeurs des programmes thématiques) jouent un rôle stratégique en fournissant des orientations et en dirigeant les travaux de l’équipe; ils veillent également à la qualité d’ensemble de l’évaluation. Ils participent davantage aux étapes conceptuelles de définition des domaines à évaluer, des questions d’évaluation et de conception générale de l’évaluation stratégique. Ils consacrent moins de temps que les autres membres de l’équipe à des travaux de collecte et d’analyse d’informations sur le terrain.
Le gestionnaire de programme de niveau intermédiaire et le consultant extérieur, pour leur part, jouent un rôle opérationnel plus important et assurent des tâches logistiques et analytiques: diffusion des questionnaires, entretiens, analyse des données, préparation des rapports, etc.
Un membre de l’équipe peut assurer à la fois des fonctions stratégiques et opérationnelles. Ce qu’il faut retenir lors de la préparation d’une évaluation stratégique, c’est que certaines responsabilités prennent le pas sur les autres à différentes étapes du processus. Ainsi, les responsabilités conceptuelles sont prioritaires lors des étapes de planification et de présentation des rapports, tandis que les responsabilités opérationnelles revêtent une plus grande importance lors de la collecte et de l’analyse de données.9
2.10 Grille d’évaluation La grille d’évaluation permet de capter et d’organiser des informations à partir de différents moments de l’étape de planification, depuis la définition des domaines de performance à évaluer jusqu’au choix des méthodes adaptées de collecte de données. Un exemple de grille est présenté ci-dessous. Il comporte un domaine de performance, les questions correspondantes afin de dégager les informations voulues sur le domaine concerné, des indicateurs, des sources de données et la méthode proposée de collecte de données.
Pour un exemple plus détaillé, voir la grille d’évaluation stratégique du BRAO qui figure en Annexe III.
Tableau 2.4 Exemple d’une grille d’évaluation
DOMAINES DE PERFORMANCE
QUESTIONS INDICATEURS SOURCES DE DONNÉESMÉTHODE DE COLLECTE DE
DONNÉES
Efficacité du programme de l’unité
Quels sont les produits spécifiques du programme?
Produits du programme
Plans de programme décrivant les produits
Examen des documents
Dans quelle mesure ces produits contribuent-ils aux
Perceptions des parties prenantes sur la contribution des
Partenaires,collaborateurs de l’UICN
Questionnaire
9 Pour plus d’informations sur ces éléments, voir: Charles Lusthaus, Marie-Hélène Adrien, Gary Anderson et Fred Carden, Enhancing Organizational Performance: A Toolbox for Self-Assessment, IDRC, Ottawa, 1999, p. 10.
14 15
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
14
MÉTHODE FORCES FAIBLESSES
Permet une analyse approfondie et la recherche d’éléments adaptés à chaque personne
Valorise chacune des personnes interviewées
Taux de réponse élevé
Entretien téléphonique:
Plusieurs des avantages ci-dessus à un coût moindre
Permet de s’entretenir avec des parties prenantes éparpillées géographiquement
Permet un codage rapide des réponses sur papier ou sur ordinateur
Nécessite des personnes expérimentées et compétentes pour mener les entretiens
Peut conduire les personnes interrogées à donner des réponses destinées à plaire
L’analyse des informations ne dégage pas toujours des indications claires
Difficultés logistiques, méthode coûteuse en temps et en argent pour toutes les parties
Entretien téléphonique:
Certaines personnes trouvent cette méthode importune (peut être atténué si un rendez-vous a été pris d’avance)
Difficulté à retenir l’attention de la personne interrogée pendant une durée prolongée
Techniques de groupe
La synergie de groupe permet de tirer un maximum d’informations
Met en lumière la diversité de points de vue
Fournit une riche perspective qualitative
La démarche de groupe peut renforcer les attitudes sous-jacentes
Touche un grand nombre de personnes en un temps bref
Nécessite un animateur compétent
Ne se prête pas à des analyses quantitatives
Ne correspond pas à des informations sensibles
Nécessite une préparation approfondie des questions et de la logistique
Observation sur site Informations émanant de témoins directs
Permet de comparer des mots et des faits
Technique sensible lorsqu’elle est appliquée par un observateur qualifié
Se déroule dans un cadre naturel
Peut créer des situations artificielles
Peut fournir un échantillonnage incorrect des événements observés
Coûteuse en temps et en personnel
Peut refléter des partis pris de l’observateur
Examen de documents
Bonne source d’informations générales
Peut mettre en lumière des questions non décelées par d’autres moyens
Economique
Discret
Les informations peuvent être dépassées, inapplicables, désorganisées ou non disponibles
Peut véhiculer des partis pris en raison de la “survie sélective” d’informations
Peut nécessiter des recherches importantes
2.8 Comment définir la composition d’une équipe évaluatrice Il s’agit d’un élément crucial de l’étape de planification. Lors du choix de l’équipe, il est important de tenir compte des compétences et des points de vue que chacun des membres peut apporter sur les questions traités par l’évaluation stratégique, y compris une combinaison appropriée de compétences quantitatives et qualitatives, programmatiques et techniques, l’expérience de processus participatifs, des compétences en matière d’évaluation, etc.
L’équipe devrait être équilibrée pour ce qui est des points de vue internes et externes. Elle peut être composée exclusivement de collaborateurs de l'UICN ou associer des évaluateurs internes et externes. Lors de ce choix, il est important de prendre en considération tant les coûts que la qualité des résultats. En
Guide des évaluations stratégiques
15
effet, si l’on recrute un consultant extérieur, les coûts seront plus élevés, mais sa participation peut améliorer l’objectivité des analyses, réduire les partis pris, etc.
L’UICN recommande que les équipes d’évaluation stratégique soient composées d’un responsable de haut niveau de l'UICN (directeur régional, directeur d’un programme thématique) en tant que responsable de l’équipe, accompagné d’un gestionnaire de programme de l'UICN d’un niveau intermédiaire et d’un consultant extérieur apportant des compétences complémentaires. Les deux derniers devraient assurer des travaux importants de collecte et d’analyse de données.
2.9 Préciser les fonctions et les responsabilités des membres de l’équipe Les responsables de programme de haut niveau de l'UICN (directeurs régionaux, directeurs des programmes thématiques) jouent un rôle stratégique en fournissant des orientations et en dirigeant les travaux de l’équipe; ils veillent également à la qualité d’ensemble de l’évaluation. Ils participent davantage aux étapes conceptuelles de définition des domaines à évaluer, des questions d’évaluation et de conception générale de l’évaluation stratégique. Ils consacrent moins de temps que les autres membres de l’équipe à des travaux de collecte et d’analyse d’informations sur le terrain.
Le gestionnaire de programme de niveau intermédiaire et le consultant extérieur, pour leur part, jouent un rôle opérationnel plus important et assurent des tâches logistiques et analytiques: diffusion des questionnaires, entretiens, analyse des données, préparation des rapports, etc.
Un membre de l’équipe peut assurer à la fois des fonctions stratégiques et opérationnelles. Ce qu’il faut retenir lors de la préparation d’une évaluation stratégique, c’est que certaines responsabilités prennent le pas sur les autres à différentes étapes du processus. Ainsi, les responsabilités conceptuelles sont prioritaires lors des étapes de planification et de présentation des rapports, tandis que les responsabilités opérationnelles revêtent une plus grande importance lors de la collecte et de l’analyse de données.9
2.10 Grille d’évaluation La grille d’évaluation permet de capter et d’organiser des informations à partir de différents moments de l’étape de planification, depuis la définition des domaines de performance à évaluer jusqu’au choix des méthodes adaptées de collecte de données. Un exemple de grille est présenté ci-dessous. Il comporte un domaine de performance, les questions correspondantes afin de dégager les informations voulues sur le domaine concerné, des indicateurs, des sources de données et la méthode proposée de collecte de données.
Pour un exemple plus détaillé, voir la grille d’évaluation stratégique du BRAO qui figure en Annexe III.
Tableau 2.4 Exemple d’une grille d’évaluation
DOMAINES DE PERFORMANCE
QUESTIONS INDICATEURS SOURCES DE DONNÉESMÉTHODE DE COLLECTE DE
DONNÉES
Efficacité du programme de l’unité
Quels sont les produits spécifiques du programme?
Produits du programme
Plans de programme décrivant les produits
Examen des documents
Dans quelle mesure ces produits contribuent-ils aux
Perceptions des parties prenantes sur la contribution des
Partenaires,collaborateurs de l’UICN
Questionnaire
9 Pour plus d’informations sur ces éléments, voir: Charles Lusthaus, Marie-Hélène Adrien, Gary Anderson et Fred Carden, Enhancing Organizational Performance: A Toolbox for Self-Assessment, IDRC, Ottawa, 1999, p. 10.
16
Guide des éva luat ions s t ra tég iques
17
Guide des évaluations stratégiques
16
objectifs / résultats du programme?
produits aux objectifs du programme
Dans quelle mesure le programme contribue-t-il à la conservation et au développement durable dans la région ?
Perceptions des parties prenantes sur la contribution du Programme à la conservation et au développement durable dans la région.
Membres, donateurs
Analyse de la situation
Questionnaire et entretiens individuels
Analyse de diagnostique et des données des programmes
2.11 Plan de travail / calendrier de l’évaluation Le plan de l’évaluation devrait indiquer comment les travaux seront menés dans le cadre d’une période spécifique. Il définit les tâches, les produits, les échéances et les responsabilités pour ce qui est des différentes étapes de l’évaluation.
Tableau 2.5 Exemple de format pour un plan de travail d’évaluation
ETAPE TÂCHE OU ACTIVITÉ PRODUIT DATEMEMBRE DE L’EQUIPE
RESPONSABLE
2 Mise au point d’outils de collecte de données
Questionnaire 18 mai JF
Protocoles de groupes ciblés
27 mai AMR
Guide des évaluations stratégiques
17
3. Une collecte efficace de données Les constatations et les conclusions de l’évaluation stratégique dépendront de la collecte et de l’analyse systématiques d’informations très variées. Il faut être systématique pour bien appréhender les questions et ne pas se borner à un seul point de vue.10 Une bonne collecte de données permettra à l'équipe évaluatrice de présenter des avis plus nuancés et équilibrés, tirés de sources différentes, sur les questions traitées.
3.1 Mettre au point ou adapter des outils de collecte de données
Toutes les méthodes de collecte de données décrites au chapitre 2.7 nécessitent des outils facilitant la démarche. L'équipe évaluatrice est responsable de leur mise au point. Des conseils à ce sujet se trouvent en Annexe IV.
En outre, l’Annexe VII présente des exemples de questionnaires et de protocoles utilisés lors d’évaluations précédentes. S’ils représentent un point de départ utile, ils devront être adaptés aux questions et aux domaines définis pour l’évaluation stratégique concernée.
La grille d’évaluation décrite au chapitre précédent est la base permettant la mise au point ou l’adaptation d’outils au contexte spécifique d’une évaluation stratégique.
Une approche participative pour la mise au point d’outils
L'équipe évaluatrice doit notamment définir des modalités de mise au point d’outils de collecte. Les questionnaires et les protocoles peuvent bénéficier dans une large mesure des commentaires d’une variété d’acteurs (responsables régionaux et nationaux, membres de l'équipe évaluatrice, animateur S&E, etc.) Une large consultation permet de s’assurer que les questions et les domaines définis ainsi que le langage utilisé sont adaptés aux spécificités de la région. Une telle démarche nécessite toutefois du temps et de l’énergie. L’équipe évaluatrice doit être prête à assurer le suivi du processus de consultation, à définir les consensus qui se dégagent sur les éléments ou les outils et à prendre en considération les commentaires. Une approche participative peut doubler le temps de mise au point des outils. Ceci doit être pris en compte dans le plan de travail et le calendrier de l’évaluation stratégique.
3.2 Une stratégie de diffusion adaptée La stratégie de diffusion porte sur les modalités de distribution et de collecte de données. Elle doit être planifiée attentivement, en tenant compte de la langue, du calendrier, de la technologie, ainsi que des questions culturelles ou autres pouvant influer sur la possibilité de contacter les parties prenantes et leur participation.
10 Louisa Gosling avec Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children, 1995, p. 39.
Communiquer avec les parties prenantes
Avant de lancer la collecte de données, il est important de communiquer avec les parties prenantes sur:
� Le pourquoi de l’évaluation.
� Quand elle aura lieu.
� Ce qui est attendu d’eux.
16 17
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
16
objectifs / résultats du programme?
produits aux objectifs du programme
Dans quelle mesure le programme contribue-t-il à la conservation et au développement durable dans la région ?
Perceptions des parties prenantes sur la contribution du Programme à la conservation et au développement durable dans la région.
Membres, donateurs
Analyse de la situation
Questionnaire et entretiens individuels
Analyse de diagnostique et des données des programmes
2.11 Plan de travail / calendrier de l’évaluation Le plan de l’évaluation devrait indiquer comment les travaux seront menés dans le cadre d’une période spécifique. Il définit les tâches, les produits, les échéances et les responsabilités pour ce qui est des différentes étapes de l’évaluation.
Tableau 2.5 Exemple de format pour un plan de travail d’évaluation
ETAPE TÂCHE OU ACTIVITÉ PRODUIT DATEMEMBRE DE L’EQUIPE
RESPONSABLE
2 Mise au point d’outils de collecte de données
Questionnaire 18 mai JF
Protocoles de groupes ciblés
27 mai AMR
Guide des évaluations stratégiques
17
3. Une collecte efficace de données Les constatations et les conclusions de l’évaluation stratégique dépendront de la collecte et de l’analyse systématiques d’informations très variées. Il faut être systématique pour bien appréhender les questions et ne pas se borner à un seul point de vue.10 Une bonne collecte de données permettra à l'équipe évaluatrice de présenter des avis plus nuancés et équilibrés, tirés de sources différentes, sur les questions traitées.
3.1 Mettre au point ou adapter des outils de collecte de données
Toutes les méthodes de collecte de données décrites au chapitre 2.7 nécessitent des outils facilitant la démarche. L'équipe évaluatrice est responsable de leur mise au point. Des conseils à ce sujet se trouvent en Annexe IV.
En outre, l’Annexe VII présente des exemples de questionnaires et de protocoles utilisés lors d’évaluations précédentes. S’ils représentent un point de départ utile, ils devront être adaptés aux questions et aux domaines définis pour l’évaluation stratégique concernée.
La grille d’évaluation décrite au chapitre précédent est la base permettant la mise au point ou l’adaptation d’outils au contexte spécifique d’une évaluation stratégique.
Une approche participative pour la mise au point d’outils
L'équipe évaluatrice doit notamment définir des modalités de mise au point d’outils de collecte. Les questionnaires et les protocoles peuvent bénéficier dans une large mesure des commentaires d’une variété d’acteurs (responsables régionaux et nationaux, membres de l'équipe évaluatrice, animateur S&E, etc.) Une large consultation permet de s’assurer que les questions et les domaines définis ainsi que le langage utilisé sont adaptés aux spécificités de la région. Une telle démarche nécessite toutefois du temps et de l’énergie. L’équipe évaluatrice doit être prête à assurer le suivi du processus de consultation, à définir les consensus qui se dégagent sur les éléments ou les outils et à prendre en considération les commentaires. Une approche participative peut doubler le temps de mise au point des outils. Ceci doit être pris en compte dans le plan de travail et le calendrier de l’évaluation stratégique.
3.2 Une stratégie de diffusion adaptée La stratégie de diffusion porte sur les modalités de distribution et de collecte de données. Elle doit être planifiée attentivement, en tenant compte de la langue, du calendrier, de la technologie, ainsi que des questions culturelles ou autres pouvant influer sur la possibilité de contacter les parties prenantes et leur participation.
10 Louisa Gosling avec Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children, 1995, p. 39.
Communiquer avec les parties prenantes
Avant de lancer la collecte de données, il est important de communiquer avec les parties prenantes sur:
� Le pourquoi de l’évaluation.
� Quand elle aura lieu.
� Ce qui est attendu d’eux.
18
Guide des éva luat ions s t ra tég iques
19
Guide des évaluations stratégiques
18
Tableau 3.1 Comment assurer des taux élevés de retour
MÉTHODE CONSEIL
Entretiens Les prévoir à l’avance.
Confirmer le rendez-vous la veille de l’entretien.
Confirmer un autre rendez-vous si quelqu’un se décommande.
Questionnaires Envoyer une note explicative à l’avance.
Faire envoyer le questionnaire par un responsable de haut niveau de l’organisation.
Assurer un suivi personnel ou téléphonique adapté de la part d’un membre de l’organisation.
3.3 Exploitation des données des questionnaires Après la collecte des questionnaires, la première étape d’exploitation des données consiste à attribuer un numéro de code aux questionnaires, ce qui permet de les identifier et de s’y référer ultérieurement si nécessaire, lors de l’analyse des données. Dans la plupart des cas, une simple feuille Excel assurera les fonctions requises afin d’organiser les informations provenant de ces questionnaires codés, d’élaborer des statistiques et de générer les graphiques nécessaires à l’analyse des données. L’Annexe VIII comporte des indications générales sur la mise au point d’une base de données simple et l’incorporation des données sous Microsoft Excel. Après l’incorporation des données, ce logiciel permet également de générer des tableaux utiles à l’analyse des données.
Les membres de l'équipe évaluatrice ne se chargent pas d’habitude de la saisie des données et de l’élaboration de graphiques; il est important de budgétiser et de planifier le soutien correspondant, que ce soit en interne ou en externe. Il faut également finaliser cette étape aussi rapidement que possible afin que l’équipe d’évaluation soit en mesure de définir les questions et les tendances découlant des données recueillies.
Guide des évaluations stratégiques
19
4. Une analyse adaptée des données Une fois les données collectées, les informations doivent être décrites, analysées, interprétées; des appréciations doivent être portées sur les constatations faites. Il existe une vaste littérature examinant de façon approfondie les méthodes de recherche et d’évaluation, cette démarche étant parfois complexe. Dans les chapitres suivants, nous mettons en lumière les aspects les plus importants à prendre en considération lors de cette étape.
Du temps suffisant doit être réservé à l’analyse des données, notamment lorsque l’on dispose d’une masse importante d’informations qualitatives.
4.1 Importance de la triangulation des données L’équipe évaluatrice devrait réduire autant que possible les incohérences et valider les résultats en consultant plusieurs sources, ce qui implique de recueillir les avis de plusieurs groupes et de tenter de collecter des données de plusieurs sortes. En collectant des données de trois sources différentes au moins, on effectue une « triangulation » des données. Il s’agit d’un critère important en matière de collecte de données; des interprétations plus solides peuvent être tirées d’informations provenant de plusieurs sources distinctes.
4.2 Interprétation des données Avant d’analyser plus avant les données, il convient d’examiner toutes les informations disponibles et de déterminer si elles remplissent un certain nombre d’autres critères, notamment:
� Les informations sont-elles fiables ?
La fiabilité est liée à la cohérence des mesures. Nos outils auraient-ils donné les mêmes résultats s’ils avaient été employés ailleurs ou à un autre moment? Afin d’évaluer la fiabilité, l’on peut se poser la question de savoir si le moment où se sont déroulés les entretiens, ou d’autres circonstances sur le plan local, ont pu exercer une influence indue sur les réponses des parties prenantes au questionnaire. Lors de l’examen des informations qualitatives recueillies, il est important de noter si tous les membres de l'équipe évaluatrice parviennent aux mêmes conclusions. Des personnes extérieures à l’équipe seraient-elles parvenues aux mêmes conclusions?
� Les informations sont-elles valables?Il s’agit de s’assurer que les méthodes et les outils de collecte de données ont mesuré ce qu’ils étaient censés mesurer; ont-ils capté les informations recherchées? La validité complète la fiabilité: elle confirme que ce qui a été mesuré reflète ce que l’on cherchait à mesurer. Dans le cas des évaluations stratégiques, il est important de tenir compte de la validité interne des mesures des données, liée, par exemple, à la véracité des réponses et à l’exactitude de leur enregistrement. Il est également important de se poser la question de la validité externe, ou généralisabilité des résultats, lorsque les données sont recueillies sur un échantillon au lieu de l’ensemble d’une population. Par exemple, les résultats obtenus au moyen d’un échantillon de 10 organisations partenaires sont-ils similaires aux résultats correspondant aux 30 partenaires de la région?11
� Existe-t-il suffisamment d’informations? L’équipe évaluatrice doit parfois s’assurer que le nombre de réponses aux questionnaires, entretiens, etc., est suffisant afin d’analyser les données et de parvenir à des conclusions.
11 Gary Anderson, Fundamentals of Educational Research, Falmer Press, London, 1995.
18 19
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
18
Tableau 3.1 Comment assurer des taux élevés de retour
MÉTHODE CONSEIL
Entretiens Les prévoir à l’avance.
Confirmer le rendez-vous la veille de l’entretien.
Confirmer un autre rendez-vous si quelqu’un se décommande.
Questionnaires Envoyer une note explicative à l’avance.
Faire envoyer le questionnaire par un responsable de haut niveau de l’organisation.
Assurer un suivi personnel ou téléphonique adapté de la part d’un membre de l’organisation.
3.3 Exploitation des données des questionnaires Après la collecte des questionnaires, la première étape d’exploitation des données consiste à attribuer un numéro de code aux questionnaires, ce qui permet de les identifier et de s’y référer ultérieurement si nécessaire, lors de l’analyse des données. Dans la plupart des cas, une simple feuille Excel assurera les fonctions requises afin d’organiser les informations provenant de ces questionnaires codés, d’élaborer des statistiques et de générer les graphiques nécessaires à l’analyse des données. L’Annexe VIII comporte des indications générales sur la mise au point d’une base de données simple et l’incorporation des données sous Microsoft Excel. Après l’incorporation des données, ce logiciel permet également de générer des tableaux utiles à l’analyse des données.
Les membres de l'équipe évaluatrice ne se chargent pas d’habitude de la saisie des données et de l’élaboration de graphiques; il est important de budgétiser et de planifier le soutien correspondant, que ce soit en interne ou en externe. Il faut également finaliser cette étape aussi rapidement que possible afin que l’équipe d’évaluation soit en mesure de définir les questions et les tendances découlant des données recueillies.
Guide des évaluations stratégiques
19
4. Une analyse adaptée des données Une fois les données collectées, les informations doivent être décrites, analysées, interprétées; des appréciations doivent être portées sur les constatations faites. Il existe une vaste littérature examinant de façon approfondie les méthodes de recherche et d’évaluation, cette démarche étant parfois complexe. Dans les chapitres suivants, nous mettons en lumière les aspects les plus importants à prendre en considération lors de cette étape.
Du temps suffisant doit être réservé à l’analyse des données, notamment lorsque l’on dispose d’une masse importante d’informations qualitatives.
4.1 Importance de la triangulation des données L’équipe évaluatrice devrait réduire autant que possible les incohérences et valider les résultats en consultant plusieurs sources, ce qui implique de recueillir les avis de plusieurs groupes et de tenter de collecter des données de plusieurs sortes. En collectant des données de trois sources différentes au moins, on effectue une « triangulation » des données. Il s’agit d’un critère important en matière de collecte de données; des interprétations plus solides peuvent être tirées d’informations provenant de plusieurs sources distinctes.
4.2 Interprétation des données Avant d’analyser plus avant les données, il convient d’examiner toutes les informations disponibles et de déterminer si elles remplissent un certain nombre d’autres critères, notamment:
� Les informations sont-elles fiables ?
La fiabilité est liée à la cohérence des mesures. Nos outils auraient-ils donné les mêmes résultats s’ils avaient été employés ailleurs ou à un autre moment? Afin d’évaluer la fiabilité, l’on peut se poser la question de savoir si le moment où se sont déroulés les entretiens, ou d’autres circonstances sur le plan local, ont pu exercer une influence indue sur les réponses des parties prenantes au questionnaire. Lors de l’examen des informations qualitatives recueillies, il est important de noter si tous les membres de l'équipe évaluatrice parviennent aux mêmes conclusions. Des personnes extérieures à l’équipe seraient-elles parvenues aux mêmes conclusions?
� Les informations sont-elles valables?Il s’agit de s’assurer que les méthodes et les outils de collecte de données ont mesuré ce qu’ils étaient censés mesurer; ont-ils capté les informations recherchées? La validité complète la fiabilité: elle confirme que ce qui a été mesuré reflète ce que l’on cherchait à mesurer. Dans le cas des évaluations stratégiques, il est important de tenir compte de la validité interne des mesures des données, liée, par exemple, à la véracité des réponses et à l’exactitude de leur enregistrement. Il est également important de se poser la question de la validité externe, ou généralisabilité des résultats, lorsque les données sont recueillies sur un échantillon au lieu de l’ensemble d’une population. Par exemple, les résultats obtenus au moyen d’un échantillon de 10 organisations partenaires sont-ils similaires aux résultats correspondant aux 30 partenaires de la région?11
� Existe-t-il suffisamment d’informations? L’équipe évaluatrice doit parfois s’assurer que le nombre de réponses aux questionnaires, entretiens, etc., est suffisant afin d’analyser les données et de parvenir à des conclusions.
11 Gary Anderson, Fundamentals of Educational Research, Falmer Press, London, 1995.
20
Guide des éva luat ions s t ra tég iques
21
Guide des évaluations stratégiques
20
� Y a-t-il des informations contradictoires? Les documents et les entretiens dégagent-ils des informations contradictoires? Est-il nécessaire de procéder à d’autres études afin de corroborer les résultats?
� Y a-t-il des normes de référence? Dans certains cas, il existe des normes organisationnelles permettant de faire des comparaisons. Ainsi, la politique d’évaluation de l'UICN recommande d’affecter 3 à 5% du budget des projets et des programmes au suivi et à l’évaluation. Un tel critère permet de déterminer, par exemple, si la structure évaluée consacre des ressources adaptées à la fonction suivi et évaluation.
4.3 Classement des données La grille d’évaluation devrait servir de cadre afin de classer les informations recueillies au moyen des questionnaires autour des domaines et des questions définis pour l’évaluation stratégique. Parfois, les questions posées dans les questionnaires et lors des entretiens permettent d’aborder plusieurs domaines ou questions de la grille. En vous référant constamment aux questions nécessitant une réponse (figurant dans la grille) vous ne perdez pas de vue votre objectif, même si vous disposez d’une masse d’informations.
Lors du classement des données, il est utile de:
� Chercher des éléments récurrentsLors de l’examen des questionnaires ainsi que des notes d’entretien et d’observation, cherchez à dégager des thèmes et des tendances, organisant ainsi vos notes autour d’éléments récurrents qui semblent pertinents par rapport aux principales questions de l’évaluation.12
� Coder les donnéesAinsi qu’indiqué plus haut pour la saisie des données, codez les données, ce qui permet par la suite de les examiner en vérifiant la source. Codez-les d’une façon confidentielle, afin de respecter la confidentialité que vous avez assurée aux personnes interrogées, mais utilement. Ainsi, les responsables peuvent avoir les codes R1, R2 et ainsi de suite, les donateurs D1, D2, etc., afin de retrouver les sources.
� Pondérer les donnéesPondérez les données afin de déterminer combien de personnes interrogées ont répondu de la même façon, si les informations sont confirmées par plusieurs catégories d’acteurs et si elles sont validées ou infirmées par des sources extérieures.
4.4 Organisation d’une réunion de synthèse afin d’analyser les données collectées
Il s’est avéré très utile lors des évaluations stratégiques d’organiser une réunion de synthèse afin de présenter les conclusions préliminaires et de procéder à une analyse collective et à une discussion relatives aux données et aux constatations. Le résultat de ces débats est ensuite intégré dans le rapport final.
La présence de responsables de haut niveau d’autres régions lors de cette réunion peut encourager et enrichir les échanges et les débats inter-régionaux sur les conclusions de l’évaluation stratégique.
12 W.K. Kellogg Foundation, Evaluation Handbook, Battle Creek, 1998.
Guide des évaluations stratégiques
21
5. Rapport des résultats des évaluations stratégiques Les procédures relatives au rapport des résultats des évaluations stratégiques à l'UICN sont les suivantes:
1. Une réunion de compte-rendu, animée par l'équipe évaluatrice et regroupant les responsables et les collaborateurs des programmes, est organisée à la fin du processus d’évaluation, afin d’examiner les conclusions préliminaires et les questions découlant de l’évaluation. Cette réunion se tient avant la préparation du rapport final.
2. Un projet de rapport final est présenté simultanément par le responsable de l'équipe évaluatrice au directeur du programme évalué et au Directeur général et/ou au Directeur du programme mondial.
3. Si des questions très délicates relatives aux responsables ou au personnel se posent lors de l’évaluation, le responsable de l'équipe évaluatrice écrit une lettre confidentielle au Directeur général et/ou au Directeur du programme mondial résumant les éléments et, s’il y a lieu, les recommandations concernés. Dans la mesure du possible, tous les résultats d’une évaluation devraient être incorporés au rapport final; la lettre à la direction ne devrait être envisagée que dans des circonstances extrêmes.
4. Les responsables des programmes présentent des commentaires sur le projet de rapport.
5. Un rapport final est préparé par l'équipe évaluatrice et soumis simultanément au responsable du programme et au Directeur général et/ou au Directeur du programme mondial.
6. Le responsable de l'équipe évaluatrice présente à l’Executive Management Group (comité de direction) les principales constatations, conclusions et recommandations de l’évaluation. Ce comité peut demander des informations complémentaires à l'équipe évaluatrice.
7. Le rapport de l’évaluation stratégique est finalisé et envoyé à toutes les parties prenantes importantes.
8. Le rapport final est soumis à l’unité de S&E afin d’être incorporé dans la base de données sur l’évaluation, ainsi qu’un résumé qui est affiché sur le site Internet de l'UICN consacré à l’évaluation.
9. Des résumés ciblés des résultats sont présentés à différents groupes, tels que les responsables UICN d’autres régions, le groupe des programmes et des politiques (PPG) et d’autres groupes de gestion.
Les chapitres suivants comportent des conseils permettant d’améliorer la présentation de rapports sur les résultats.
5.1 Connaître vos différents publics Une communication efficace des résultats de l’évaluation stratégique aux différents publics nécessite des connaissances spécifiques du rôle joué par les différents groupes dans le programme évalué ou dans la gestion ou les structures de gouvernance de l’Union (Congrès, Conseil, Comités nationaux ou régionaux).
Lors de la communication des résultats, l'équipe évaluatrice doit bien connaître les attentes du personnel, du Conseil, des donateurs, des membres, des partenaires, etc. et adapter la présentation en conséquence. Pour la présentation des données, nous recommandons l’utilisation de tableaux et de graphiques dans tous les cas.
20 21
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
20
� Y a-t-il des informations contradictoires? Les documents et les entretiens dégagent-ils des informations contradictoires? Est-il nécessaire de procéder à d’autres études afin de corroborer les résultats?
� Y a-t-il des normes de référence? Dans certains cas, il existe des normes organisationnelles permettant de faire des comparaisons. Ainsi, la politique d’évaluation de l'UICN recommande d’affecter 3 à 5% du budget des projets et des programmes au suivi et à l’évaluation. Un tel critère permet de déterminer, par exemple, si la structure évaluée consacre des ressources adaptées à la fonction suivi et évaluation.
4.3 Classement des données La grille d’évaluation devrait servir de cadre afin de classer les informations recueillies au moyen des questionnaires autour des domaines et des questions définis pour l’évaluation stratégique. Parfois, les questions posées dans les questionnaires et lors des entretiens permettent d’aborder plusieurs domaines ou questions de la grille. En vous référant constamment aux questions nécessitant une réponse (figurant dans la grille) vous ne perdez pas de vue votre objectif, même si vous disposez d’une masse d’informations.
Lors du classement des données, il est utile de:
� Chercher des éléments récurrentsLors de l’examen des questionnaires ainsi que des notes d’entretien et d’observation, cherchez à dégager des thèmes et des tendances, organisant ainsi vos notes autour d’éléments récurrents qui semblent pertinents par rapport aux principales questions de l’évaluation.12
� Coder les donnéesAinsi qu’indiqué plus haut pour la saisie des données, codez les données, ce qui permet par la suite de les examiner en vérifiant la source. Codez-les d’une façon confidentielle, afin de respecter la confidentialité que vous avez assurée aux personnes interrogées, mais utilement. Ainsi, les responsables peuvent avoir les codes R1, R2 et ainsi de suite, les donateurs D1, D2, etc., afin de retrouver les sources.
� Pondérer les donnéesPondérez les données afin de déterminer combien de personnes interrogées ont répondu de la même façon, si les informations sont confirmées par plusieurs catégories d’acteurs et si elles sont validées ou infirmées par des sources extérieures.
4.4 Organisation d’une réunion de synthèse afin d’analyser les données collectées
Il s’est avéré très utile lors des évaluations stratégiques d’organiser une réunion de synthèse afin de présenter les conclusions préliminaires et de procéder à une analyse collective et à une discussion relatives aux données et aux constatations. Le résultat de ces débats est ensuite intégré dans le rapport final.
La présence de responsables de haut niveau d’autres régions lors de cette réunion peut encourager et enrichir les échanges et les débats inter-régionaux sur les conclusions de l’évaluation stratégique.
12 W.K. Kellogg Foundation, Evaluation Handbook, Battle Creek, 1998.
Guide des évaluations stratégiques
21
5. Rapport des résultats des évaluations stratégiques Les procédures relatives au rapport des résultats des évaluations stratégiques à l'UICN sont les suivantes:
1. Une réunion de compte-rendu, animée par l'équipe évaluatrice et regroupant les responsables et les collaborateurs des programmes, est organisée à la fin du processus d’évaluation, afin d’examiner les conclusions préliminaires et les questions découlant de l’évaluation. Cette réunion se tient avant la préparation du rapport final.
2. Un projet de rapport final est présenté simultanément par le responsable de l'équipe évaluatrice au directeur du programme évalué et au Directeur général et/ou au Directeur du programme mondial.
3. Si des questions très délicates relatives aux responsables ou au personnel se posent lors de l’évaluation, le responsable de l'équipe évaluatrice écrit une lettre confidentielle au Directeur général et/ou au Directeur du programme mondial résumant les éléments et, s’il y a lieu, les recommandations concernés. Dans la mesure du possible, tous les résultats d’une évaluation devraient être incorporés au rapport final; la lettre à la direction ne devrait être envisagée que dans des circonstances extrêmes.
4. Les responsables des programmes présentent des commentaires sur le projet de rapport.
5. Un rapport final est préparé par l'équipe évaluatrice et soumis simultanément au responsable du programme et au Directeur général et/ou au Directeur du programme mondial.
6. Le responsable de l'équipe évaluatrice présente à l’Executive Management Group (comité de direction) les principales constatations, conclusions et recommandations de l’évaluation. Ce comité peut demander des informations complémentaires à l'équipe évaluatrice.
7. Le rapport de l’évaluation stratégique est finalisé et envoyé à toutes les parties prenantes importantes.
8. Le rapport final est soumis à l’unité de S&E afin d’être incorporé dans la base de données sur l’évaluation, ainsi qu’un résumé qui est affiché sur le site Internet de l'UICN consacré à l’évaluation.
9. Des résumés ciblés des résultats sont présentés à différents groupes, tels que les responsables UICN d’autres régions, le groupe des programmes et des politiques (PPG) et d’autres groupes de gestion.
Les chapitres suivants comportent des conseils permettant d’améliorer la présentation de rapports sur les résultats.
5.1 Connaître vos différents publics Une communication efficace des résultats de l’évaluation stratégique aux différents publics nécessite des connaissances spécifiques du rôle joué par les différents groupes dans le programme évalué ou dans la gestion ou les structures de gouvernance de l’Union (Congrès, Conseil, Comités nationaux ou régionaux).
Lors de la communication des résultats, l'équipe évaluatrice doit bien connaître les attentes du personnel, du Conseil, des donateurs, des membres, des partenaires, etc. et adapter la présentation en conséquence. Pour la présentation des données, nous recommandons l’utilisation de tableaux et de graphiques dans tous les cas.
22
Guide des éva luat ions s t ra tég iques
23
Guide des évaluations stratégiques
22
5.2 Les éléments de base d’un bon rapport écrit Même si l'équipe évaluatrice peut faire rapport sur les résultats de différentes façons, le rapport final est le produit principal d’une évaluation stratégique. Il devient le compte-rendu officiel du déroulement de l’évaluation et des appréciations portées. L’équipe évaluatrice, tout en mettant au point une structure adaptée au contexte spécifique, devrait aussi s’efforcer d’harmoniser dans une certaine mesure les rapports des évaluations réalisées à l’UICN dans son ensemble. Nous recommandons en conséquence d’inclure dans le rapport les éléments de l’encadré ci-contre.
D’autres critères importants de la présentation de rapports à l'UICN devront être également vérifiés:
� Le rapport aborde-t-il les grands domaines d’évaluation énoncés par les termes de référence?
� Les constatations présentées sont-elles correctement étayées par des données?
� Les conclusions ou jugements de valeur sont-ils fondés d’une façon précise sur les constatations?
Le rapport en lui-même (sans les annexes) ne devrait pas dépasser 30 à 50 pages, afin de le rendre plus lisible. Des tableaux ou d’autres informations complémentaires peuvent être présentés dans les annexes.
5.3 Le rapport comme outil d’évolution Coûteuses en temps et en ressources, les évaluations stratégiques devraient être considérées comme un outil précieux de gestion du changement. Les dirigeants ont la responsabilité de s’assurer que les résultats d’une évaluation stratégique sont utilisés afin d’améliorer les performances.
Le comité de direction (Executive Management Group) ou le Directeur du programme mondial demanderont aux cadres responsables du programme évalué de mettre en place un plan d’action. Une réunion des collaborateurs et d’un certain nombre de parties prenantes au programme peut être organisée, si besoin est, afin d’élaborer un plan d’action et des mécanismes de suivi de sa mise en œuvre.
5.4 Du rapport au plan d’action Lors de l’élaboration du plan d’action, les acteurs concernés peuvent envisager différentes mesures. Le plan d’action peut comporter les éléments suivants:
� Définition des recommandations à mettre en oeuvre Les évaluations stratégiques sont susceptibles de générer un certain nombre de recommandations destinées aux responsables et au personnel régionaux, au siège ou à d’autres structures de l'UICN. Les parties prenantes concernées examinent ces recommandations afin d’évaluer leur faisabilité et le temps nécessaire à leur mise en œuvre. Elles doivent comporter un ordre de priorités. Il n’est pas toujours possible d’investir le même temps et les mêmes ressources pour chacune des recommandations simultanément.
Eléments recommandés d’un rapport final d’évaluation
� Résumé
� Sommaire
� Liste d’acronymes
� Introduction
� Objectif de l’évaluation
� Contexte et description du programme ou de la région
� Examen des domaines et des questions d’évaluation
� Méthodologie
� Constatations
� Conclusions et recommandations
� Plan d’action
� Annexes: TR, grille d’évaluation, outils de collecte de données
Guide des évaluations stratégiques
23
� Définition des responsables de la mise en oeuvre des recommandationsPour la mise en œuvre des évolutions, il faut un “moteur” qui prenne fait et cause pour elles à l’intérieur de l’organisation. Le plan d’action doit définir les personnes responsables du suivi de la mise en œuvre de chacune des recommandations prioritaires.
� Définition des mesures nécessaires à la mise en oeuvre des recommandationsChaque recommandation nécessite des mesures en vue de sa mise en oeuvre. Les parties prenantes doivent concevoir ces mesures.
� Calendrier de mise en oeuvreIl s’agit de définir des étapes intermédiaires et un calendrier pour la mise en œuvre des mesures prévues.
Tableau 5.1 Exemple de format d’un plan d’action
RECOMMANDATION DE L’EVALUATION
MESURES DE MISE EN ŒUVRE
RESPONSABLE ETAPES CALENDRIER
1. Recommandation Mesure 1
Mesure 2
Mesure 3
Qui est le “moteur”?
Quels produits ou évolutions peuvent aider à suivre l’avancement de la mise en œuvre?
Quelles sont les échéances pour les différentes étapes?
5.5 Un suivi efficace du plan d’action La mise en œuvre des recommandations de l’évaluation stratégique devrait faire partie du plan de travail du programme ou de l’unité. Son état d’avancement devrait faire partie des rapports trimestriels ordinaires d’activité et des procédures d’élaboration de rapports.
Il est important que les parties prenantes soient au courant des obligations de rendre des comptes pour ce qui concerne l’évaluation stratégique et qu’elles reçoivent des informations régulières sur l’état d’avancement de la mise en œuvre des recommandations.
22 23
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
22
5.2 Les éléments de base d’un bon rapport écrit Même si l'équipe évaluatrice peut faire rapport sur les résultats de différentes façons, le rapport final est le produit principal d’une évaluation stratégique. Il devient le compte-rendu officiel du déroulement de l’évaluation et des appréciations portées. L’équipe évaluatrice, tout en mettant au point une structure adaptée au contexte spécifique, devrait aussi s’efforcer d’harmoniser dans une certaine mesure les rapports des évaluations réalisées à l’UICN dans son ensemble. Nous recommandons en conséquence d’inclure dans le rapport les éléments de l’encadré ci-contre.
D’autres critères importants de la présentation de rapports à l'UICN devront être également vérifiés:
� Le rapport aborde-t-il les grands domaines d’évaluation énoncés par les termes de référence?
� Les constatations présentées sont-elles correctement étayées par des données?
� Les conclusions ou jugements de valeur sont-ils fondés d’une façon précise sur les constatations?
Le rapport en lui-même (sans les annexes) ne devrait pas dépasser 30 à 50 pages, afin de le rendre plus lisible. Des tableaux ou d’autres informations complémentaires peuvent être présentés dans les annexes.
5.3 Le rapport comme outil d’évolution Coûteuses en temps et en ressources, les évaluations stratégiques devraient être considérées comme un outil précieux de gestion du changement. Les dirigeants ont la responsabilité de s’assurer que les résultats d’une évaluation stratégique sont utilisés afin d’améliorer les performances.
Le comité de direction (Executive Management Group) ou le Directeur du programme mondial demanderont aux cadres responsables du programme évalué de mettre en place un plan d’action. Une réunion des collaborateurs et d’un certain nombre de parties prenantes au programme peut être organisée, si besoin est, afin d’élaborer un plan d’action et des mécanismes de suivi de sa mise en œuvre.
5.4 Du rapport au plan d’action Lors de l’élaboration du plan d’action, les acteurs concernés peuvent envisager différentes mesures. Le plan d’action peut comporter les éléments suivants:
� Définition des recommandations à mettre en oeuvre Les évaluations stratégiques sont susceptibles de générer un certain nombre de recommandations destinées aux responsables et au personnel régionaux, au siège ou à d’autres structures de l'UICN. Les parties prenantes concernées examinent ces recommandations afin d’évaluer leur faisabilité et le temps nécessaire à leur mise en œuvre. Elles doivent comporter un ordre de priorités. Il n’est pas toujours possible d’investir le même temps et les mêmes ressources pour chacune des recommandations simultanément.
Eléments recommandés d’un rapport final d’évaluation
� Résumé
� Sommaire
� Liste d’acronymes
� Introduction
� Objectif de l’évaluation
� Contexte et description du programme ou de la région
� Examen des domaines et des questions d’évaluation
� Méthodologie
� Constatations
� Conclusions et recommandations
� Plan d’action
� Annexes: TR, grille d’évaluation, outils de collecte de données
Guide des évaluations stratégiques
23
� Définition des responsables de la mise en oeuvre des recommandationsPour la mise en œuvre des évolutions, il faut un “moteur” qui prenne fait et cause pour elles à l’intérieur de l’organisation. Le plan d’action doit définir les personnes responsables du suivi de la mise en œuvre de chacune des recommandations prioritaires.
� Définition des mesures nécessaires à la mise en oeuvre des recommandationsChaque recommandation nécessite des mesures en vue de sa mise en oeuvre. Les parties prenantes doivent concevoir ces mesures.
� Calendrier de mise en oeuvreIl s’agit de définir des étapes intermédiaires et un calendrier pour la mise en œuvre des mesures prévues.
Tableau 5.1 Exemple de format d’un plan d’action
RECOMMANDATION DE L’EVALUATION
MESURES DE MISE EN ŒUVRE
RESPONSABLE ETAPES CALENDRIER
1. Recommandation Mesure 1
Mesure 2
Mesure 3
Qui est le “moteur”?
Quels produits ou évolutions peuvent aider à suivre l’avancement de la mise en œuvre?
Quelles sont les échéances pour les différentes étapes?
5.5 Un suivi efficace du plan d’action La mise en œuvre des recommandations de l’évaluation stratégique devrait faire partie du plan de travail du programme ou de l’unité. Son état d’avancement devrait faire partie des rapports trimestriels ordinaires d’activité et des procédures d’élaboration de rapports.
Il est important que les parties prenantes soient au courant des obligations de rendre des comptes pour ce qui concerne l’évaluation stratégique et qu’elles reçoivent des informations régulières sur l’état d’avancement de la mise en œuvre des recommandations.
24
Guide des éva luat ions s t ra tég iques
25
Guide des évaluations stratégiques
24
Annexe I – Définition des domaines de performance
DOMAINE DE PERFORMANCE
QUESTIONS CLÉS (EXEMPLES ADAPTABLES TIRÉS DE LA BOITE À OUTILS “AMÉLIORER LES PERFORMANCES ORGANISATIONNELLES”)
1. Pertinence � Quel est le degré de pertinence du travail de l’unité par rapport aux DRS et aux grands domaines thématiques de l’UICN (connaissance, habilitation, gouvernance, opérations)?
� Quel est le degré de pertinence du travail de l’unité par rapport aux besoins de ses éléments constitutifs et de ses parties prenantes?
� Le travail de l’unité est-il à la pointe de la réflexion en matière de conservation et de développement?
� Quel est le degré de crédibilité de l’unité à l’intérieur et à l’extérieur de l'UICN?
� Quelle est son influence à l’intérieur et à l’extérieur de l’UICN?
2. Efficacité � Dans quelle mesure le programme de l’unité est-il lié aux DRS et aux grands domaines thématiques de l’UICN (connaissance, habilitation, gouvernance, opérations)?
� Dans quelle mesure l’unité a-t-elle réalisé ses plans stratégiques et annuels? Quelles sont les principales raisons du décalage entre les résultats prévus et ceux atteints?
� Dans quelle mesure les résultats de l’unité sont-ils liés aux DRS du programme quadriennal de l'UICN et dans quelle mesure sont-ils atteints? Quelles sont les principales raisons du décalage entre les résultats prévus et ceux atteints?
� Quelle est la qualité de sa réponse à des événements inattendus et imprévus?
� Dans quelle mesure l’unité a-t-elle intégré la réflexion extérieure à l’Union et l’innovation provenant d’autres sources?
� Dans quelle mesure l’unité a-t-elle collaboré avec d’autres composantes de l’Union, sur le plan régional et mondial?
3. Efficience � Quelle est la qualité de la gestion des ressources (personnel, ressources financières, temps)?
� Comment l’unité a-t-elle utilisé les fonds budgétaires reçus (investissement dans de nouvelles procédures, financement d’activités régulières, capital risque, fonds de compensation, etc.)?
� Quel est le taux respectif d’effectifs techniques et administratifs?
� Quel est le degré d’efficience des procédures et des pratiques de travail?
4. Impact � L’unité connaît-elle son impact? Comment l’a-t-elle mesuré ou évalué?
� Quel est l’impact de l’unité à l’intérieur et à l’extérieur de l’UICN?
� Quels sont les principaux éléments ou moments d’impact de l’unité?
5. Viabilité financière � Dans quelle mesure les ressources financières de l’unité sont-elles adaptées aux résultats attendus du programme?
� Quelle est l’importance du financement de l’unité, tant pour le nombre et la diversité de sources de financement que pour les montants obtenus de chaque source?
� Dans quelle mesure l’unité a-t-elle dépendu du financement budgétaire de l'UICN (fonds affectés et non affectés) lors des trois dernières années? Pourquoi?
� L’unité a-t-elle obtenu un soutien financier extérieur (hors UICN) pour ses activités? Quelles sont les raisons de son succès ou son échec dans ce domaine? Dans quelle mesure ces résultats sont-ils en rapport avec la pertinence et l’impact de ses activités?
� Les dépenses de l’unité ont-elles dépassé le budget lors des trois dernières années? L’unité a-t-elle été obligée de réduire ses effectifs en raison de contraintes financières?
Guide des évaluations stratégiques
25
Annexe II – Facteurs ayant une incidence sur les performances
FACTEUR QUESTIONS CLÉS
1. Capacité Leadership stratégique
� L’unité dispose-t-elle d’un plan stratégique guidant ses activités? Qui a partiicipé à son élaboration? Est-il adapté à la stratégie d’ensemble de l'UICN? Est-il connu des membres et des éléments constitutifs de l’unité et appuyé par eux? Est-il employé régulièrement en vue de la prise de décisions?
� Existe-t-il des procédures établies pour suivre la mise en œuvre du plan stratégique?
� La direction de l’unité apporte-t-elle un leadership stratégique de qualité?
� L’unité est-elle dirigée de façon participative et, si oui, dans quelle mesure?
� La direction et les gestionnaires de l’unité connaissent-ils et emploient-ils la gestion par « niches » afin d’obtenir des résultats?
� La direction et les cadres de gestion de l’unité veillent-ils à ce que l’unité entreprenne des analyses de situation régulières afin d’opérer des choix stratégiques relatifs à son programme et aux institutions avec lesquelles elle travaille?
� Quels sont les organismes ou mécanismes de gouvernance en place et quelle est l’efficacité de leur fonctionnement (comités consultatifs des membres nationaux ou régionaux ou équivalents, etc.)?
� Quelles sont les procédures d’évaluation interne et d’amélioration organisationnelle et quels sont leurs effets?
Structure
� La structure de l’unité (gestion, prise de décisions) est-elle favorable ou défavorable à la réalisation de ses résultats?
� Les fonctions et les responsabilités sont-elles définies d’une façon précise?
� Existe-t-il des liens ou des opportunités adaptés pour établir des liens entre des programmes et des projets lorsque cela s’avère nécessaire?
� La prise de décisions est-elle définie d’une façon précise et décentralisée comme il convient?
� Le personnel est-il habilité à établir des plans d’action et à agir en conséquence?
Planification et gestion des programmes
� Le personnel à différents niveaux, reçoit-il des orientations appropriées de la part des responsables de l’unité?
� Les programmes et les projets sont-ils liés à d’autres unités et programmes de l'UICN (intégration horizontale et verticale)?
� Quel est le degré de participation des membres et des Commissions dans la mise en œuvre du programme?
� Dans quelle mesure les programmes et les projets sont-ils novateurs?
� Les produits attendus des programmes et des projets ont-ils été délivrés en temps voulu?
� L’unité a-t-elle les ressources et les systèmes de gestion adaptés lui permettant d’exécuter effectivement le programme prévu?
Gestion des ressources humaines
� Le profil des collaborateurs est-il adapté aux besoins des programmes et des projets?
� Existe-t-il des incitations à la performance et à l’avancement des carrières? Quels sont les comportements encouragés par des mesures d’incitation?
24 25
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
24
Annexe I – Définition des domaines de performance
DOMAINE DE PERFORMANCE
QUESTIONS CLÉS (EXEMPLES ADAPTABLES TIRÉS DE LA BOITE À OUTILS “AMÉLIORER LES PERFORMANCES ORGANISATIONNELLES”)
1. Pertinence � Quel est le degré de pertinence du travail de l’unité par rapport aux DRS et aux grands domaines thématiques de l’UICN (connaissance, habilitation, gouvernance, opérations)?
� Quel est le degré de pertinence du travail de l’unité par rapport aux besoins de ses éléments constitutifs et de ses parties prenantes?
� Le travail de l’unité est-il à la pointe de la réflexion en matière de conservation et de développement?
� Quel est le degré de crédibilité de l’unité à l’intérieur et à l’extérieur de l'UICN?
� Quelle est son influence à l’intérieur et à l’extérieur de l’UICN?
2. Efficacité � Dans quelle mesure le programme de l’unité est-il lié aux DRS et aux grands domaines thématiques de l’UICN (connaissance, habilitation, gouvernance, opérations)?
� Dans quelle mesure l’unité a-t-elle réalisé ses plans stratégiques et annuels? Quelles sont les principales raisons du décalage entre les résultats prévus et ceux atteints?
� Dans quelle mesure les résultats de l’unité sont-ils liés aux DRS du programme quadriennal de l'UICN et dans quelle mesure sont-ils atteints? Quelles sont les principales raisons du décalage entre les résultats prévus et ceux atteints?
� Quelle est la qualité de sa réponse à des événements inattendus et imprévus?
� Dans quelle mesure l’unité a-t-elle intégré la réflexion extérieure à l’Union et l’innovation provenant d’autres sources?
� Dans quelle mesure l’unité a-t-elle collaboré avec d’autres composantes de l’Union, sur le plan régional et mondial?
3. Efficience � Quelle est la qualité de la gestion des ressources (personnel, ressources financières, temps)?
� Comment l’unité a-t-elle utilisé les fonds budgétaires reçus (investissement dans de nouvelles procédures, financement d’activités régulières, capital risque, fonds de compensation, etc.)?
� Quel est le taux respectif d’effectifs techniques et administratifs?
� Quel est le degré d’efficience des procédures et des pratiques de travail?
4. Impact � L’unité connaît-elle son impact? Comment l’a-t-elle mesuré ou évalué?
� Quel est l’impact de l’unité à l’intérieur et à l’extérieur de l’UICN?
� Quels sont les principaux éléments ou moments d’impact de l’unité?
5. Viabilité financière � Dans quelle mesure les ressources financières de l’unité sont-elles adaptées aux résultats attendus du programme?
� Quelle est l’importance du financement de l’unité, tant pour le nombre et la diversité de sources de financement que pour les montants obtenus de chaque source?
� Dans quelle mesure l’unité a-t-elle dépendu du financement budgétaire de l'UICN (fonds affectés et non affectés) lors des trois dernières années? Pourquoi?
� L’unité a-t-elle obtenu un soutien financier extérieur (hors UICN) pour ses activités? Quelles sont les raisons de son succès ou son échec dans ce domaine? Dans quelle mesure ces résultats sont-ils en rapport avec la pertinence et l’impact de ses activités?
� Les dépenses de l’unité ont-elles dépassé le budget lors des trois dernières années? L’unité a-t-elle été obligée de réduire ses effectifs en raison de contraintes financières?
Guide des évaluations stratégiques
25
Annexe II – Facteurs ayant une incidence sur les performances
FACTEUR QUESTIONS CLÉS
1. Capacité Leadership stratégique
� L’unité dispose-t-elle d’un plan stratégique guidant ses activités? Qui a partiicipé à son élaboration? Est-il adapté à la stratégie d’ensemble de l'UICN? Est-il connu des membres et des éléments constitutifs de l’unité et appuyé par eux? Est-il employé régulièrement en vue de la prise de décisions?
� Existe-t-il des procédures établies pour suivre la mise en œuvre du plan stratégique?
� La direction de l’unité apporte-t-elle un leadership stratégique de qualité?
� L’unité est-elle dirigée de façon participative et, si oui, dans quelle mesure?
� La direction et les gestionnaires de l’unité connaissent-ils et emploient-ils la gestion par « niches » afin d’obtenir des résultats?
� La direction et les cadres de gestion de l’unité veillent-ils à ce que l’unité entreprenne des analyses de situation régulières afin d’opérer des choix stratégiques relatifs à son programme et aux institutions avec lesquelles elle travaille?
� Quels sont les organismes ou mécanismes de gouvernance en place et quelle est l’efficacité de leur fonctionnement (comités consultatifs des membres nationaux ou régionaux ou équivalents, etc.)?
� Quelles sont les procédures d’évaluation interne et d’amélioration organisationnelle et quels sont leurs effets?
Structure
� La structure de l’unité (gestion, prise de décisions) est-elle favorable ou défavorable à la réalisation de ses résultats?
� Les fonctions et les responsabilités sont-elles définies d’une façon précise?
� Existe-t-il des liens ou des opportunités adaptés pour établir des liens entre des programmes et des projets lorsque cela s’avère nécessaire?
� La prise de décisions est-elle définie d’une façon précise et décentralisée comme il convient?
� Le personnel est-il habilité à établir des plans d’action et à agir en conséquence?
Planification et gestion des programmes
� Le personnel à différents niveaux, reçoit-il des orientations appropriées de la part des responsables de l’unité?
� Les programmes et les projets sont-ils liés à d’autres unités et programmes de l'UICN (intégration horizontale et verticale)?
� Quel est le degré de participation des membres et des Commissions dans la mise en œuvre du programme?
� Dans quelle mesure les programmes et les projets sont-ils novateurs?
� Les produits attendus des programmes et des projets ont-ils été délivrés en temps voulu?
� L’unité a-t-elle les ressources et les systèmes de gestion adaptés lui permettant d’exécuter effectivement le programme prévu?
Gestion des ressources humaines
� Le profil des collaborateurs est-il adapté aux besoins des programmes et des projets?
� Existe-t-il des incitations à la performance et à l’avancement des carrières? Quels sont les comportements encouragés par des mesures d’incitation?
26
Guide des éva luat ions s t ra tég iques
27
Guide des évaluations stratégiques
26
FACTEUR QUESTIONS CLÉS
� Existe-t-il des programmes de formation pour le personnel?
� L’environnement de travail est-il adapté?
� Existe-t-il des mécanismes d’équité de genre et sont-ils utilisés efficacement?
� Existe-t-il des problèmes non réglés d’équité des rémunérations?
� Existe-t-il une fonction de médiation et est-elle utilisée?
� Existe-t-il des procédures adaptées de recrutement et d’orientation?
� Existe-t-il des mécanismes effectifs et adaptés d’évaluation des performances du personnel et sont-ils utilisés?
� Quelle est la qualité de la gestion, de la supervision et de « mentoring » du personnel ?
Gestion des ressources financières
� Existe-t-il une stratégie financière ou un plan d’activités?
� Existe-t-il un mécanisme approprié de budgétisation? Est-il participatif?
� Les responsables à différents niveaux reçoivent-ils des informations financières exactes et en temps voulu?
� Est-ce que les ressources de projet sont dépensées en temps voulu?
� Existe-t-il des mécanismes d’audit ? Quels en sont les résultats?
� Y a-t-il des services financiers fournis aux sous-unités (projets, etc.)?
Suivi et évaluation
� Le personnel est-il formé et a-t-il des compétences en matière de suivi et d’évaluation?
� Quelles sont les procédures de S&E en place, à des fins d’apprentissage, responsabilité, contrôle?
� Quels sont les programmes et les activités soumis à S&E ? existe-t-il des insuffisances majeures?
� De quelle façon les résultats de S&E sont ils intégrés dans les rapports et la prise de décisions?
Equipements et administration
� Les bureaux et les équipements (véhicules, ordinateurs) sont-ils adaptés afin d’atteindre les résultats attendus? Sont-ils bien gérés?
� Les technologies de la communication (gestion des informations, internet, lignes téléphoniques) apportent-elles un soutien approprié à l’exécution du programme?
Autres facteurs de capacité :
� Gestion des processus: existe-t-il des procédures de résolution de problèmes et fonctionnent-elles d’une façon satisfaisante pour le personnel?
� Liens inter-institutionnels: l’unité coopère-t-elle d’une façon appropriée avec les partenaires, les donateurs et d’autres organisations?
2. Motivation Histoire et objectifs
� Quelles sont les étapes importantes de l’histoire de l’unité?
� Comment l’unité a-t-elle évolué le long du temps?
� Le personnel se mobilise-t-il autour d’objectifs? Ces objectifs correspondent-ils à la mission de l'UICN?
Culture
� Quelles sont les principales caractéristiques de l’unité telles que perçues par les différents groupes à l’intérieur et à l’extérieur de l’unité et de quelle façon influent-elles sur les
Guide des évaluations stratégiques
27
FACTEUR QUESTIONS CLÉS
performances de l’unité?
� Le personnel est-il motivé?
� Quel est le degré d’engagement du personnel et des responsables ?
Incitations et récompenses
� Comment le personnel perçoit-ils les mécanismes d’incitation?
� Comment le personnel perçoit-il la situation de l’unité par rapport à ses propres intérêts et à sa carrière?
� Comment le personnel perçoit-il le degré d’équité à l’intérieur de l’unité?
3. Contexte extérieur Parties prenantes � Quelles sont les principales parties prenantes?
� Quelle est leur appréciation sur les produits et les services de l’unité?
� Quel a été le degré de réactivité de l’unité aux besoins et aux demandes des parties prenantes?
� Quels sont les partenaires opérationnels de l’unité? Quelle est leur perception de leur partenariat avec l’unité? (valeur ajoutée)?
� Quels sont les concurrents de l’unité? Pourquoi sont-ils concurrents et non partenaires? Sont-ils en train d’occuper le créneau de l’unité? Pourquoi?
� De quelle façon les donateurs et les bailleurs de fonds perçoivent-ils la valeur des produits et des services de l’unité?
� Quelle est l’incidence des tendances de financement des donateurs sur l’unité?
� Pour l’unité, quels sont les effets de l’environnement politique et socio-économique?
� Pour l’unité, quels sont les effets de l’environnement administratif et juridique du pays et de la région?
26 27
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
26
FACTEUR QUESTIONS CLÉS
� Existe-t-il des programmes de formation pour le personnel?
� L’environnement de travail est-il adapté?
� Existe-t-il des mécanismes d’équité de genre et sont-ils utilisés efficacement?
� Existe-t-il des problèmes non réglés d’équité des rémunérations?
� Existe-t-il une fonction de médiation et est-elle utilisée?
� Existe-t-il des procédures adaptées de recrutement et d’orientation?
� Existe-t-il des mécanismes effectifs et adaptés d’évaluation des performances du personnel et sont-ils utilisés?
� Quelle est la qualité de la gestion, de la supervision et de « mentoring » du personnel ?
Gestion des ressources financières
� Existe-t-il une stratégie financière ou un plan d’activités?
� Existe-t-il un mécanisme approprié de budgétisation? Est-il participatif?
� Les responsables à différents niveaux reçoivent-ils des informations financières exactes et en temps voulu?
� Est-ce que les ressources de projet sont dépensées en temps voulu?
� Existe-t-il des mécanismes d’audit ? Quels en sont les résultats?
� Y a-t-il des services financiers fournis aux sous-unités (projets, etc.)?
Suivi et évaluation
� Le personnel est-il formé et a-t-il des compétences en matière de suivi et d’évaluation?
� Quelles sont les procédures de S&E en place, à des fins d’apprentissage, responsabilité, contrôle?
� Quels sont les programmes et les activités soumis à S&E ? existe-t-il des insuffisances majeures?
� De quelle façon les résultats de S&E sont ils intégrés dans les rapports et la prise de décisions?
Equipements et administration
� Les bureaux et les équipements (véhicules, ordinateurs) sont-ils adaptés afin d’atteindre les résultats attendus? Sont-ils bien gérés?
� Les technologies de la communication (gestion des informations, internet, lignes téléphoniques) apportent-elles un soutien approprié à l’exécution du programme?
Autres facteurs de capacité :
� Gestion des processus: existe-t-il des procédures de résolution de problèmes et fonctionnent-elles d’une façon satisfaisante pour le personnel?
� Liens inter-institutionnels: l’unité coopère-t-elle d’une façon appropriée avec les partenaires, les donateurs et d’autres organisations?
2. Motivation Histoire et objectifs
� Quelles sont les étapes importantes de l’histoire de l’unité?
� Comment l’unité a-t-elle évolué le long du temps?
� Le personnel se mobilise-t-il autour d’objectifs? Ces objectifs correspondent-ils à la mission de l'UICN?
Culture
� Quelles sont les principales caractéristiques de l’unité telles que perçues par les différents groupes à l’intérieur et à l’extérieur de l’unité et de quelle façon influent-elles sur les
Guide des évaluations stratégiques
27
FACTEUR QUESTIONS CLÉS
performances de l’unité?
� Le personnel est-il motivé?
� Quel est le degré d’engagement du personnel et des responsables ?
Incitations et récompenses
� Comment le personnel perçoit-ils les mécanismes d’incitation?
� Comment le personnel perçoit-il la situation de l’unité par rapport à ses propres intérêts et à sa carrière?
� Comment le personnel perçoit-il le degré d’équité à l’intérieur de l’unité?
3. Contexte extérieur Parties prenantes � Quelles sont les principales parties prenantes?
� Quelle est leur appréciation sur les produits et les services de l’unité?
� Quel a été le degré de réactivité de l’unité aux besoins et aux demandes des parties prenantes?
� Quels sont les partenaires opérationnels de l’unité? Quelle est leur perception de leur partenariat avec l’unité? (valeur ajoutée)?
� Quels sont les concurrents de l’unité? Pourquoi sont-ils concurrents et non partenaires? Sont-ils en train d’occuper le créneau de l’unité? Pourquoi?
� De quelle façon les donateurs et les bailleurs de fonds perçoivent-ils la valeur des produits et des services de l’unité?
� Quelle est l’incidence des tendances de financement des donateurs sur l’unité?
� Pour l’unité, quels sont les effets de l’environnement politique et socio-économique?
� Pour l’unité, quels sont les effets de l’environnement administratif et juridique du pays et de la région?
28 29
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
28An
ne
xe
III
– E
xe
mp
le d
e g
rill
e d
’év
alu
ati
on
tir
ée
de
l’é
va
lua
tio
n
str
até
giq
ue
du
BR
AO
, 2
00
2
Intr
od
ucti
on
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
1) P
ertin
ence
et r
aiso
n d’
être
du
Pro
gram
me
du B
RA
O p
ar r
appo
rt
aux
enje
ux e
t aux
te
ndan
ces
du
déve
lopp
emen
t dur
able
(h
umai
ns e
t éc
osys
tèm
es)
dans
la
régi
on
1.1
Que
ls s
ont l
es g
rand
s en
jeux
du
déve
lopp
emen
t dur
able
dan
s la
rég
ion
touc
hant
les
hum
ains
et l
es
écos
ystè
mes
?
Gra
nds
enje
ux d
u dé
velo
ppem
ent d
urab
le
défin
is p
ar l’
UIC
N e
t par
les
docu
men
ts d
u B
RA
O
Con
verg
ence
des
gra
nds
enje
ux d
u dé
velo
ppem
ent
dura
ble
de la
rég
ion
touc
hant
le
s hu
mai
ns e
t les
éc
osys
tèm
es, d
écrit
s da
ns le
s do
cum
ents
du
BR
AO
, ave
c le
s pe
rcep
tions
des
par
ties
pren
ante
s au
pro
gram
me
rela
tives
à c
es e
njeu
x.
Doc
umen
ts d
u B
RA
O
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
2 Q
uelle
est
la p
ertin
ence
du
prog
ram
me
du B
RA
O p
ar r
appo
rt à
ces
en
jeux
?
Con
verg
ence
du
prog
ram
me
du B
RA
O a
vec
les
gran
ds
enje
ux d
e dé
velo
ppem
ent d
e la
rég
ion.
Doc
umen
ts d
u B
RA
O
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
3 Q
uelle
est
la r
aiso
n d’
être
du
prog
ram
me
du B
RA
O p
ar r
appo
rt à
ces
en
jeux
?
Con
verg
ence
de
la r
aiso
n d’
être
du
prog
ram
me
du
BR
AO
ave
c le
s gr
ands
enj
eux
de d
ével
oppe
men
t de
la
régi
on.
Doc
umen
t du
BR
AO
déc
rivan
t sa
rais
on d
’êtr
e
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
4 Q
uelle
est
l’im
port
ance
du
Sat
isfa
ctio
n de
s pa
rtie
s D
irect
eurs
/ res
pons
able
s de
E
ntre
tiens
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
29
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
prog
ram
me
du B
RA
O p
ar r
appo
rt à
ces
en
jeux
? pr
enan
tes
au p
rogr
amm
e vi
s-à-
vis
de l’
impo
rtan
ce d
u pr
ogra
mm
e du
BR
AO
par
ra
ppor
t à c
es e
njeu
x
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
indi
vidu
els
ou d
e gr
oupe
1.
5 Le
BR
AO
abo
rde-
t-il
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
la
mis
sion
de
l'UIC
N?
(Que
stio
ns
pert
inen
tes
= qu
estio
ns im
port
ante
s po
ur c
e qu
i est
de
la c
onse
rvat
ion
et d
u dé
velo
ppem
ent d
urab
le d
ans
la r
égio
n)
Con
verg
ence
de
la m
issi
on d
u B
RA
O a
vec
la m
issi
on d
u P
rogr
amm
e m
ondi
al d
e l'U
ICN
Per
cept
ions
des
par
ties
pren
ante
s au
pro
gram
me
sur
le fa
it de
sav
oir
si le
BR
AO
ab
orde
ou
non
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
la m
issi
on d
e l’U
ICN
.
Déc
lara
tions
de
mis
sion
de
l'UIC
N
et d
u B
RA
O
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
1.
6 Le
BR
AO
abo
rde-
t-il
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
s av
anta
ges
com
para
tifs
de l’
UIC
N?
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
le B
RA
O
abor
de o
u no
n le
s qu
estio
ns
pert
inen
tes
dans
le c
onte
xte
des
avan
tage
s co
mpa
ratif
s de
l'U
ICN
.
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
7 Le
BR
AO
abo
rde-
t-il
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
la
stra
tégi
e de
l’U
ICN
?
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
le B
RA
O
abor
de o
u no
n le
s qu
estio
ns
pert
inen
tes
dans
le c
onte
xte
de la
str
atég
ie d
e l'U
ICN
.
Déc
lara
tion
sur
la s
trat
égie
de
l'UIC
N
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
8 Q
uelle
s so
nt le
s no
uvel
les
oppo
rtun
ités
et/o
u do
mai
nes
d’ac
tivité
po
ur le
BR
AO
, non
enc
ore
envi
sagé
s da
ns s
on p
rogr
amm
e?
Opi
nion
des
par
ties
pren
ante
s au
pro
gram
me
sur
les
nouv
elle
s op
port
unité
s et
/ou
dom
aine
s d’
activ
ité p
our
le
BR
AO
non
enc
ore
envi
sagé
s
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
28 29
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
29
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
prog
ram
me
du B
RA
O p
ar r
appo
rt à
ces
en
jeux
? pr
enan
tes
au p
rogr
amm
e vi
s-à-
vis
de l’
impo
rtan
ce d
u pr
ogra
mm
e du
BR
AO
par
ra
ppor
t à c
es e
njeu
x
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
indi
vidu
els
ou d
e gr
oupe
1.
5 Le
BR
AO
abo
rde-
t-il
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
la
mis
sion
de
l'UIC
N?
(Que
stio
ns
pert
inen
tes
= qu
estio
ns im
port
ante
s po
ur c
e qu
i est
de
la c
onse
rvat
ion
et d
u dé
velo
ppem
ent d
urab
le d
ans
la r
égio
n)
Con
verg
ence
de
la m
issi
on d
u B
RA
O a
vec
la m
issi
on d
u P
rogr
amm
e m
ondi
al d
e l'U
ICN
Per
cept
ions
des
par
ties
pren
ante
s au
pro
gram
me
sur
le fa
it de
sav
oir
si le
BR
AO
ab
orde
ou
non
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
la m
issi
on d
e l’U
ICN
.
Déc
lara
tions
de
mis
sion
de
l'UIC
N
et d
u B
RA
O
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
1.
6 Le
BR
AO
abo
rde-
t-il
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
s av
anta
ges
com
para
tifs
de l’
UIC
N?
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
le B
RA
O
abor
de o
u no
n le
s qu
estio
ns
pert
inen
tes
dans
le c
onte
xte
des
avan
tage
s co
mpa
ratif
s de
l'U
ICN
.
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
7 Le
BR
AO
abo
rde-
t-il
les
ques
tions
pe
rtin
ente
s da
ns le
con
text
e de
la
stra
tégi
e de
l’U
ICN
?
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
le B
RA
O
abor
de o
u no
n le
s qu
estio
ns
pert
inen
tes
dans
le c
onte
xte
de la
str
atég
ie d
e l'U
ICN
.
Déc
lara
tion
sur
la s
trat
égie
de
l'UIC
N
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
1.
8 Q
uelle
s so
nt le
s no
uvel
les
oppo
rtun
ités
et/o
u do
mai
nes
d’ac
tivité
po
ur le
BR
AO
, non
enc
ore
envi
sagé
s da
ns s
on p
rogr
amm
e?
Opi
nion
des
par
ties
pren
ante
s au
pro
gram
me
sur
les
nouv
elle
s op
port
unité
s et
/ou
dom
aine
s d’
activ
ité p
our
le
BR
AO
non
enc
ore
envi
sagé
s
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
30 31
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
30DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
dans
son
pro
gram
me.
D
onat
eurs
1.
9 Q
uelle
est
la r
aiso
n (s
’il y
en
a) d
e l’a
bsen
ce d
u B
RA
O (
pas
de b
urea
u na
tiona
l) da
ns d
e no
mbr
eux
pays
d’
Afr
ique
de
l’Oue
st (
Nig
eria
, Tch
ad,
Côt
e d’
Ivoi
re, B
énin
, Sie
rra
Leon
e,
Libé
ria, G
ambi
e, C
ap V
ert,
Tog
o,
Gha
na, G
uiné
e)?
Opi
nion
des
par
ties
pren
ante
s au
pro
gram
me
sur
les
éven
tuel
les
rais
ons
de
l’abs
ence
du
BR
AO
(bu
reau
na
tiona
l) da
ns d
e no
mbr
eux
pays
d’A
friq
ue d
e l’O
uest
.
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2) E
ffica
cité
des
co
mpo
sant
es d
e pr
ogra
mm
e du
P
rogr
amm
e ré
gion
al
de l’
UIC
N p
our
l’Afr
ique
de
l’O
uest
2.1
Que
lle e
st l’
évol
utio
n da
ns le
tem
ps
du P
rogr
amm
e de
l’U
ICN
pou
r l’A
friq
ue
de l’
Oue
st (
stra
tégi
e, o
bjet
, pro
duits
et
résu
ltats
)
Com
para
ison
des
str
atég
ies,
ob
jet,
prod
uits
et r
ésul
tats
pr
ésen
ts e
t pas
sés
du B
RA
O.
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r l’é
volu
tion
du p
rogr
amm
e de
l’U
ICN
pou
r l’A
friq
ue d
e l’O
uest
dan
s le
tem
ps, p
our
ce q
ui e
st d
es s
trat
égie
s,
obje
t, pr
odui
ts e
t rés
ulta
ts.
Doc
umen
ts d
u B
RA
O s
ur la
st
raté
gie,
l’ob
jet,
les
prod
uits
et
les
résu
ltats
pré
sent
s et
pas
sés
Dire
cteu
rs/ r
espo
nsab
les
de
bure
aux
natio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
2.
2 Q
uelle
s so
nt le
s pr
inci
paux
acc
ords
po
litiq
ues,
pro
cédu
res,
etc
., m
is a
u po
int o
u en
cour
agés
par
le p
rogr
amm
e?
Tém
oign
ages
écr
its o
u an
ecdo
tique
s su
r le
s gr
ands
ac
cord
s, p
oliti
ques
, pr
océd
ures
, etc
., m
is a
u po
int
ou e
ncou
ragé
s pa
r le
BR
AO
.
Obs
erva
tions
des
par
ties
pren
ante
s au
pro
gram
me
sur
les
gran
ds a
ccor
ds, p
oliti
ques
, pr
océd
ures
, etc
., m
is a
u po
int
ou e
ncou
ragé
s pa
r ce
pr
ogra
mm
e.
Doc
umen
ts d
u B
RA
O s
ur le
s gr
ands
acc
ords
, pol
itiqu
es,
proc
édur
es, e
tc.,
mis
au
poin
t ou
enco
urag
és p
ar le
pro
gram
me
du
BR
AO
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
3 Q
uels
son
t les
pro
duits
spé
cifiq
ues
du p
rogr
amm
e?
Pro
duits
du
prog
ram
me.
D
ocum
ent d
u B
RA
O d
écriv
ant l
es
prod
uits
du
prog
ram
me
E
xam
en d
e do
cum
ents
2.
4 Le
pro
gram
me
repr
ésen
te-t
-il u
ne
réfle
xion
de
poin
te e
n m
atiè
re d
e co
nser
vatio
n et
de
déve
lopp
emen
t du
rabl
e?
Opi
nion
des
par
ties
pren
ante
s au
pro
gram
me
sur
le
cara
ctèr
e no
vate
ur d
e sa
ré
flexi
on e
n m
atiè
re d
e
cons
erva
tion
et d
e
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
31
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
déve
lopp
emen
t dur
able
. D
onat
eurs
2.
5 Le
BR
AO
joue
-t-il
un
rôle
rec
onnu
de
lead
er e
n m
atiè
re d
e co
nser
vatio
n en
Afr
ique
de
l’Oue
st?
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
rôl
e re
conn
u de
lead
er d
u B
RA
O e
n m
atiè
re d
e co
nser
vatio
n en
Afr
ique
de
l’Oue
st.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
6 Le
BR
AO
rép
ond-
il au
x pr
inci
paux
en
jeux
se
posa
nt à
la r
égio
n?
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
le B
RA
O
répo
nd a
ux p
rinci
paux
enj
eux
se p
osan
t à la
rég
ion.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
7 Le
s ac
tivité
s et
les
prod
uits
son
t-ils
ex
écut
és e
t liv
rés
en te
mps
vou
lu e
t da
ns le
s lim
ites
budg
étai
res?
Dat
es p
révu
es e
t rée
lles
d’ex
écut
ion
des
activ
ités
et d
e liv
rais
on d
es p
rodu
its.
Pre
uves
à l’
appu
i de
l’effi
cien
ce e
t éco
nom
ie d
es
activ
ités
et d
es p
rodu
its d
u B
RA
O.
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e po
ur c
e qu
i est
du
resp
ect d
es
déla
is d
’exé
cutio
n de
s ac
tivité
s du
BR
AO
.
Doc
umen
ts d
u B
RA
O s
ur
l’exé
cutio
n de
ses
act
ivité
s et
la
livra
ison
de
ses
prod
uits
Doc
umen
ts fi
nanc
iers
sur
les
activ
ités
en c
ours
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Que
stio
nnai
re
2.
8 Le
s pr
odui
ts d
u pr
ogra
mm
e so
nt-il
s ut
ilisé
s af
in d
’atte
indr
e le
s ré
sulta
ts
souh
aité
s (c
hang
emen
ts c
hez
les
indi
vidu
s, le
s co
mm
unau
tés
et le
s or
gani
satio
ns)?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r l’u
tilis
atio
n de
s pr
odui
ts d
u pr
ogra
mm
e af
in d
’atte
indr
e le
s ré
sulta
ts
souh
aité
s.
Doc
umen
ts d
u B
RA
O s
ur le
s ré
sulta
ts d
u pr
ogra
mm
e
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
9 Le
per
sonn
el a
-t-il
les
com
péte
nces
, le
s co
nnai
ssan
ces
et le
s ca
paci
tés
lui
perm
etta
nt d
’app
rend
re g
râce
à
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
s co
mpé
tenc
es,
conn
aiss
ance
s et
cap
acité
s
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
30 31
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
31
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
déve
lopp
emen
t dur
able
. D
onat
eurs
2.
5 Le
BR
AO
joue
-t-il
un
rôle
rec
onnu
de
lead
er e
n m
atiè
re d
e co
nser
vatio
n en
Afr
ique
de
l’Oue
st?
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
rôl
e re
conn
u de
lead
er d
u B
RA
O e
n m
atiè
re d
e co
nser
vatio
n en
Afr
ique
de
l’Oue
st.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
6 Le
BR
AO
rép
ond-
il au
x pr
inci
paux
en
jeux
se
posa
nt à
la r
égio
n?
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
le B
RA
O
répo
nd a
ux p
rinci
paux
enj
eux
se p
osan
t à la
rég
ion.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
7 Le
s ac
tivité
s et
les
prod
uits
son
t-ils
ex
écut
és e
t liv
rés
en te
mps
vou
lu e
t da
ns le
s lim
ites
budg
étai
res?
Dat
es p
révu
es e
t rée
lles
d’ex
écut
ion
des
activ
ités
et d
e liv
rais
on d
es p
rodu
its.
Pre
uves
à l’
appu
i de
l’effi
cien
ce e
t éco
nom
ie d
es
activ
ités
et d
es p
rodu
its d
u B
RA
O.
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e po
ur c
e qu
i est
du
resp
ect d
es
déla
is d
’exé
cutio
n de
s ac
tivité
s du
BR
AO
.
Doc
umen
ts d
u B
RA
O s
ur
l’exé
cutio
n de
ses
act
ivité
s et
la
livra
ison
de
ses
prod
uits
Doc
umen
ts fi
nanc
iers
sur
les
activ
ités
en c
ours
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Que
stio
nnai
re
2.
8 Le
s pr
odui
ts d
u pr
ogra
mm
e so
nt-il
s ut
ilisé
s af
in d
’atte
indr
e le
s ré
sulta
ts
souh
aité
s (c
hang
emen
ts c
hez
les
indi
vidu
s, le
s co
mm
unau
tés
et le
s or
gani
satio
ns)?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r l’u
tilis
atio
n de
s pr
odui
ts d
u pr
ogra
mm
e af
in d
’atte
indr
e le
s ré
sulta
ts
souh
aité
s.
Doc
umen
ts d
u B
RA
O s
ur le
s ré
sulta
ts d
u pr
ogra
mm
e
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
2.
9 Le
per
sonn
el a
-t-il
les
com
péte
nces
, le
s co
nnai
ssan
ces
et le
s ca
paci
tés
lui
perm
etta
nt d
’app
rend
re g
râce
à
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
s co
mpé
tenc
es,
conn
aiss
ance
s et
cap
acité
s
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
32 33
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
32DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
l’exp
érie
nce?
du
per
sonn
el d
e l’U
ICN
lui
perm
etta
nt d
’app
rend
re p
ar
l’exp
érie
nce.
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Que
stio
nnai
re
2.
10 L
es c
ompo
sant
es d
u pr
ogra
mm
e ré
gion
al o
nt-e
lles
un e
nsem
ble
cohé
rent
de
pro
jets
pou
r la
rég
ion?
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r le
fait
de s
avoi
r si
les
com
posa
ntes
du
prog
ram
me
régi
onal
ont
un
ense
mbl
e co
hére
nt d
e pr
ojet
s po
ur la
ré
gion
.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
2.
11 E
tant
don
né c
e qu
i pré
cède
, qu
elle
s re
com
man
datio
ns p
euve
nt ê
tre
faite
s po
ur l’
évol
utio
n fu
ture
du
Pro
gram
me
du B
RA
O?
Rec
omm
anda
tions
pou
r l’é
volu
tion
futu
re d
u pr
ogra
mm
e du
BR
AO
.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3) D
ans
quel
le m
esur
e le
mod
èle
orga
nisa
tione
l du
BR
AO
est
-il a
dapt
é,
effic
ace,
effi
cien
t et
finan
cièr
emen
t via
ble,
à
savo
ir la
str
atég
ie, l
a st
ruct
ure
et la
ges
tion
des
bure
aux
régi
onau
x,
natio
naux
et d
e pr
ojet
.
3.1
Déc
rire
le m
odèl
e or
gani
satio
nnel
du
BR
AO
O
rgan
igra
mm
e D
ocum
ent s
ur l’
orga
nigr
amm
e du
B
RA
O
Exa
men
de
docu
men
ts
3.
2 La
por
tée
et la
dis
pers
ion
de la
st
ruct
ure
orga
nisa
tionn
elle
act
uelle
est
-el
le a
dapt
ée à
la r
égio
n? (
dans
cer
tain
s pa
ys, p
as d
ans
d’au
tres
).
Sat
isfa
ctio
n de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e vi
s-à-
vis
de la
por
tée
et la
di
sper
sion
de
la s
truc
ture
or
gani
satio
nnel
le a
ctue
lle e
t de
son
ada
ptat
ion
à la
rég
ion.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3.
3 Le
rés
eau
de b
urea
ux (
le m
odèl
e ac
tuel
) en
cour
age-
t-il
le d
ével
oppe
men
t d’
un p
rogr
amm
e ré
gion
al fo
rt e
t sol
ide
du p
oint
de
vue
prog
ram
mat
ique
et
finan
cier
?
Qua
lité
des
donn
ées
géné
rées
par
le B
RA
O p
ar
rapp
ort à
l’ef
ficie
nce
des
activ
ités
du p
rogr
amm
e.
Sat
isfa
ctio
n de
s pa
rtie
s
Doc
umen
ts fi
nanc
iers
du
BR
AO
.
Eva
luat
ions
ou
audi
ts p
récé
dent
s.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
33
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
pren
ante
s au
pro
gram
me
sur
le r
ôle
du r
ésea
u de
bur
eaux
da
ns la
pro
mot
ion
d’un
pr
ogra
mm
e fo
rt e
t sol
ide
du
poin
t de
vue
prog
ram
mat
ique
.
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Que
stio
nnai
re
3.
4 Q
uelle
est
la s
trat
égie
act
uelle
du
BR
AO
? E
st-e
lle s
olid
e du
poi
nt d
e vu
e pr
ogra
mm
atiq
ue e
t fin
anci
er?
Str
atég
ie a
ctue
lle d
u B
RA
O.
Indi
catio
ns é
man
ant d
’aud
its
ou d
’éva
luat
ions
réc
ente
s su
r la
san
té fi
nanc
ière
du
prog
ram
me.
Pre
uves
à l’
appu
i de
l’effi
cien
ce d
es a
ctiv
ités
réce
ntes
et a
ctue
lles
du
BR
AO
.
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au B
RA
O s
ur la
sa
nté
finan
cièr
e de
la
stra
tégi
e.
Doc
umen
ts fi
nanc
iers
du
BR
AO
.
Eva
luat
ions
ou
audi
ts p
récé
dent
s.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
.
Que
stio
nnai
re
3.
5 Q
uelle
s so
nt le
s ca
paci
tés
orga
nisa
tionn
elle
s et
inst
itutio
nnel
les
mis
es a
u po
int p
ar le
pro
gram
me
régi
onal
du
BR
AO
? S
ont-
elle
s im
port
ante
s? D
urab
les?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r le
s ca
paci
tés
orga
nisa
tionn
elle
s et
inst
itutio
nnel
les
mis
es a
u po
int p
ar le
pro
gram
me
régi
onal
du
BR
AO
.
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r l’i
mpo
rtan
ce e
t la
dura
bilit
é de
s ca
paci
tés
orga
nisa
tionn
elle
s et
in
stitu
tionn
elle
s.
Doc
umen
ts s
ur le
s ca
paci
tés
orga
nisa
tionn
elle
s et
in
stitu
tionn
elle
s du
BR
AO
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3.
6 Q
uel e
st le
deg
ré d
’effi
cien
ce e
t d’
effic
acité
de
la g
ouve
rnan
ce d
u B
RA
O?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r l’e
ffici
ence
et
l’ef
ficac
ité d
e la
go
uver
nanc
e du
BR
AO
(le
ader
ship
str
atég
ique
avi
sé
et s
truc
ture
s ap
prop
riées
)
Doc
umen
t sur
la g
ouve
rnan
ce d
u B
RA
O
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
.
32 33
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
33
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
pren
ante
s au
pro
gram
me
sur
le r
ôle
du r
ésea
u de
bur
eaux
da
ns la
pro
mot
ion
d’un
pr
ogra
mm
e fo
rt e
t sol
ide
du
poin
t de
vue
prog
ram
mat
ique
.
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Que
stio
nnai
re
3.
4 Q
uelle
est
la s
trat
égie
act
uelle
du
BR
AO
? E
st-e
lle s
olid
e du
poi
nt d
e vu
e pr
ogra
mm
atiq
ue e
t fin
anci
er?
Str
atég
ie a
ctue
lle d
u B
RA
O.
Indi
catio
ns é
man
ant d
’aud
its
ou d
’éva
luat
ions
réc
ente
s su
r la
san
té fi
nanc
ière
du
prog
ram
me.
Pre
uves
à l’
appu
i de
l’effi
cien
ce d
es a
ctiv
ités
réce
ntes
et a
ctue
lles
du
BR
AO
.
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au B
RA
O s
ur la
sa
nté
finan
cièr
e de
la
stra
tégi
e.
Doc
umen
ts fi
nanc
iers
du
BR
AO
.
Eva
luat
ions
ou
audi
ts p
récé
dent
s.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
.
Que
stio
nnai
re
3.
5 Q
uelle
s so
nt le
s ca
paci
tés
orga
nisa
tionn
elle
s et
inst
itutio
nnel
les
mis
es a
u po
int p
ar le
pro
gram
me
régi
onal
du
BR
AO
? S
ont-
elle
s im
port
ante
s? D
urab
les?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r le
s ca
paci
tés
orga
nisa
tionn
elle
s et
inst
itutio
nnel
les
mis
es a
u po
int p
ar le
pro
gram
me
régi
onal
du
BR
AO
.
Opi
nion
s de
s pa
rtie
s pr
enan
tes
au p
rogr
amm
e su
r l’i
mpo
rtan
ce e
t la
dura
bilit
é de
s ca
paci
tés
orga
nisa
tionn
elle
s et
in
stitu
tionn
elle
s.
Doc
umen
ts s
ur le
s ca
paci
tés
orga
nisa
tionn
elle
s et
in
stitu
tionn
elle
s du
BR
AO
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3.
6 Q
uel e
st le
deg
ré d
’effi
cien
ce e
t d’
effic
acité
de
la g
ouve
rnan
ce d
u B
RA
O?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r l’e
ffici
ence
et
l’ef
ficac
ité d
e la
go
uver
nanc
e du
BR
AO
(le
ader
ship
str
atég
ique
avi
sé
et s
truc
ture
s ap
prop
riées
)
Doc
umen
t sur
la g
ouve
rnan
ce d
u B
RA
O
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
.
34 35
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
34DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Que
stio
nnai
re
3.
7 Q
uel e
st le
deg
ré d
’effi
cien
ce e
t d’
effic
acité
de
la g
estio
n du
BR
AO
? T
émoi
gnag
es é
crits
et
anec
dotiq
ues
sur:
la q
ualit
é de
la g
estio
n R
H
(for
mat
ion,
dév
elop
pem
ent
prof
essi
onne
l, or
ient
atio
n,
char
ge d
e tr
avai
l réa
liste
, et
c.);
la q
ualit
é de
la c
omm
unic
atio
n in
tern
e et
ext
erne
du
Bur
eau;
la q
ualit
é de
la g
estio
n;
la p
rése
nce
d’év
alua
tions
de
perf
orm
ance
, d’a
uto-
éval
uatio
ns, e
tc.
Doc
umen
ts d
u B
RA
O s
ur d
es
ques
tions
liée
s à
la g
estio
n
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3.
8 Q
uel e
st le
deg
ré d
’effi
cien
ce e
t d’
effic
acité
de
la s
truc
ture
op
érat
ionn
elle
du
BR
AO
?
Tém
oign
ages
écr
its e
t an
ecdo
tique
s su
r l’e
ffica
cité
de
la p
lani
ficat
ion
et d
e la
pr
ogra
mm
atio
n ré
gion
ale,
sur
l’e
ffici
ence
de
la m
ise
en
œuv
re d
es a
ctiv
ités,
etc
.
Doc
umen
t du
BR
AO
sur
les
obje
ctifs
opé
ratio
nnel
s,
docu
men
ts fi
nanc
iers
, etc
.
Doc
umen
ts d
u B
RA
O s
ur c
es
poin
ts
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Exa
men
de
docu
men
ts
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3.
9 C
omm
ent r
enfo
rcer
le m
odèl
e ac
tuel
?O
pini
ons
des
part
ies
pren
ante
s au
pro
gram
me
sur
les
mod
alité
s de
ren
forc
emen
t du
mod
èle
actu
el.
Dire
cteu
rs d
es b
urea
ux n
atio
naux
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
Ent
retie
ns
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
3.
10 E
xist
e-t-
il d’
autr
es m
odèl
es
Opi
nion
s de
s pa
rtie
s D
irect
eurs
des
bur
eaux
nat
iona
ux
Ent
retie
ns
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
35
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
orga
nisa
tionn
els
envi
sage
able
s?
pren
ante
s au
pro
gram
me
sur
d’au
tres
mod
èles
or
gani
satio
nnel
s.
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
34 35
Gu
ide
de
s é
valu
ati
on
s st
raté
giq
ue
s
35
DO
MA
INE
S D
’ÉV
AL
UA
TIO
NQ
UE
STI
ON
SQ
UE
LQ
UE
S IN
DIC
AT
EU
RS
P
RO
PO
SÉ
SS
OU
RC
ES
DE
DO
NN
ÉE
S P
RO
PO
SÉ
ES
MÉ
THO
DE
S (O
UTI
LS)
PR
OP
OS
ÉE
S D
E
CO
LLE
CTE
DE
D
ON
NÉ
ES
orga
nisa
tionn
els
envi
sage
able
s?
pren
ante
s au
pro
gram
me
sur
d’au
tres
mod
èles
or
gani
satio
nnel
s.
Per
sonn
el d
u B
RA
O
Mem
bres
et p
arte
naire
s de
l’U
ICN
Don
ateu
rs
indi
vidu
els
ou d
e gr
oupe
Que
stio
nnai
re
36
Guide des éva luat ions s t ra tég iques
37
Guide des évaluations stratégiques
36
Annexe IV – Utilisation de techniques de groupe pour la collecte de données Techniques de groupe
Voici les étapes de la procédure:
� Définition de l’objectif.
� Mise au point des questions.
� Mise en place d’un calendrier.
� Constitution des groupes.
� Tenue des sessions.
� Enregistrement des données.
� Analyse des données.
� Présentation des résultats.
Mise au point des questions
Prévoir 5 à 10 questions. Pour être efficaces, il faut qu’elles soient définies avec soin. Elles:
� sont toujours ouvertes (en aucun cas des questions à répondre par oui ou par non);
� sont qualitatives plutôt que quantitatives dans leur orientation (elles appellent des perceptions et des opinions plutôt que des faits et des chiffres);
� ne demandent jamais directement “pourquoi”;
� comportent plusieurs sondes incorporées; et
� permettent d’incorporer des questions de procédure et pas uniquement de contenu.
Constitution du groupe
Des groupes réussis de collecte de données regroupent des personnes:
� partageant des caractéristiques communes (collaborateurs de l’organisation, partenaires, membres);
� ayant des expériences diversifiées (des groupes non mélangés ne fonctionnent pas);
� représentant des points de vue variés; et enfin
� dont le nombre va de 6 à 12.
Guide des évaluations stratégiques
37
Mise au point d’un calendrier
� Prévoyez 2 heures par groupe.
� Ne faites pas de pause.
� Ne faites pas de remplissage (la session se termine lorsque vous avez obtenu les données recherchées).
Disposition spatiale des groupes
� Les participants devraient être assis en cercle pour être visuellement en contact.
� L’animateur et son assistant ou la personne qui prend des notes devraient se placer à deux extrémités opposées afin d’avoir des perspectives différentes.
Déroulement des sessions
Contenu
Introduction
� Présentation des personnes présentes
� Indication de la durée de la réunion
� Indication des critères: – les réponses sont traitées à titre confidentiel; – des points de vue positifs et négatifs sont encouragés à s’exprimer.
Principales questions
� Posez les questions selon votre guide.
� Sondez.
Questions à vous poser
� Quelle autre question dois-je poser pour saisir le point de vue de cette personne?
� Suis-je en train d’entendre tout ce que j’ai besoin de savoir?
� Que veut dire tout ceci transposé sur le plan collectif?
� Comment susciter des opinions et des sentiments réels?
� Combien de temps me reste-t-il?
Synthèse
� Résumez les points saillants qui se sont dégagés.
� Vous pouvez poser une question d’ensemble, par exemple: « Le programme est-il efficace dans l’ensemble? »
Conclusion
� Remerciez les participants.
� Indiquez aux participants quelles seront les étapes suivantes du processus.
36 37
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
36
Annexe IV – Utilisation de techniques de groupe pour la collecte de données Techniques de groupe
Voici les étapes de la procédure:
� Définition de l’objectif.
� Mise au point des questions.
� Mise en place d’un calendrier.
� Constitution des groupes.
� Tenue des sessions.
� Enregistrement des données.
� Analyse des données.
� Présentation des résultats.
Mise au point des questions
Prévoir 5 à 10 questions. Pour être efficaces, il faut qu’elles soient définies avec soin. Elles:
� sont toujours ouvertes (en aucun cas des questions à répondre par oui ou par non);
� sont qualitatives plutôt que quantitatives dans leur orientation (elles appellent des perceptions et des opinions plutôt que des faits et des chiffres);
� ne demandent jamais directement “pourquoi”;
� comportent plusieurs sondes incorporées; et
� permettent d’incorporer des questions de procédure et pas uniquement de contenu.
Constitution du groupe
Des groupes réussis de collecte de données regroupent des personnes:
� partageant des caractéristiques communes (collaborateurs de l’organisation, partenaires, membres);
� ayant des expériences diversifiées (des groupes non mélangés ne fonctionnent pas);
� représentant des points de vue variés; et enfin
� dont le nombre va de 6 à 12.
Guide des évaluations stratégiques
37
Mise au point d’un calendrier
� Prévoyez 2 heures par groupe.
� Ne faites pas de pause.
� Ne faites pas de remplissage (la session se termine lorsque vous avez obtenu les données recherchées).
Disposition spatiale des groupes
� Les participants devraient être assis en cercle pour être visuellement en contact.
� L’animateur et son assistant ou la personne qui prend des notes devraient se placer à deux extrémités opposées afin d’avoir des perspectives différentes.
Déroulement des sessions
Contenu
Introduction
� Présentation des personnes présentes
� Indication de la durée de la réunion
� Indication des critères: – les réponses sont traitées à titre confidentiel; – des points de vue positifs et négatifs sont encouragés à s’exprimer.
Principales questions
� Posez les questions selon votre guide.
� Sondez.
Questions à vous poser
� Quelle autre question dois-je poser pour saisir le point de vue de cette personne?
� Suis-je en train d’entendre tout ce que j’ai besoin de savoir?
� Que veut dire tout ceci transposé sur le plan collectif?
� Comment susciter des opinions et des sentiments réels?
� Combien de temps me reste-t-il?
Synthèse
� Résumez les points saillants qui se sont dégagés.
� Vous pouvez poser une question d’ensemble, par exemple: « Le programme est-il efficace dans l’ensemble? »
Conclusion
� Remerciez les participants.
� Indiquez aux participants quelles seront les étapes suivantes du processus.
38
Guide des éva luat ions s t ra tég iques
39
Guide des évaluations stratégiques
38
Techniques
A faire
� Montrez de l’empathie et de l’ouverture d’esprit.
� Pratiquez une écoute active, paraphrasez, résumez.
� Gardez le contrôle sans être directif.
� Equilibrez les apports des participants dominants et silencieux.
� Demandez s’il y a des avis divergents.
� Utilisez efficacement les pauses et les sondes.
A éviter
� Hocher la tête (sauf exceptionnellement).
� Exprimer son accord (« OK », « Oui »).
Comment faire parler les participants
� Commencez par une question générale, telle que « Qu’avez-vous pensé de...? »
� Demandez l’opinion de participants qui ne se sont pas encore exprimés.
� Utilisez les silences: posez une question et prenez ensuite le temps de regarder les participants en attendant des réponses.
Comment faire taire les bavards
� Interrompez une longue discussion en résumant les deux opinions et en demandant ensuite aux autres participants s’ils ont d’autres avis.
� Faites un signe d’arrêt de la paume de la main, comme un policier, afin d’arrêter quelqu’un.
� Tapotez le bras d’un bavard proche de vous.
� Evitez le contact visuel avec un bavard dominant.
� Dites « On laisse quelqu’un d’autre commencer? », « Attendez, nous n’avons pas encore entendu Jean », « Oui, vous l’avez déjà dit », ou « J’ai l’impression que d’autres participants veulent s’exprimer ».
� Créez une diversion importante et reprenez ensuite le débat.
Enregistrement des données
Enregistrement sur bande magnétique
� Avantage: enregistrement complet des données.
� Inconvénient: l’écoute de la bande prend beaucoup de temps.
Techniques
� Informer les participants et obtenir leur autorisation avant d’enregistrer.
� Utiliser un dispositif discret.
� Se servir de bandes d’une durée suffisante pour ne pas avoir à les changer au milieu d’une discussion.
Guide des évaluations stratégiques
39
Notes écrites
� Des notes devraient être prises même si les débats sont enregistrés.
� Notez de temps en temps en marge de vos notes l’emplacement sur la bande, afin de retrouver facilement, lors de l’écoute ultérieure, des points spécifiques.
� Les notes ne doivent pas être prises par l’animateur mais par un assistant.
� Prenez des notes constamment, afin de ne pas donner aux participants l’impression que certains commentaires ont plus de valeur que d’autres.
� Soulignez les points qui semblent importants.
� Vous pouvez définir des catégories par avance et organiser vos notes en réservant des espaces aux commentaires y afférents.
Commentaires de l’observateur
� Prenez des notes de ce qui vous vient à l’esprit pendant la session: thèmes importants, idées pour la session suivante, reformulation de questions, etc. Notez bien qu’il s’agit de vos réflexions.
Analyse des données
Procédure
� Tapez les commentaires importants extraits du brouillon de notes et notez les noms des intervenants si possible.
� Coupez/collez des commentaires afin de les organiser par thèmes (matériellement avec des ciseaux ou sur l’ordinateur).
� Classez les commentaires ordonnés en thèmes par sous-thèmes.
� Classez les thèmes par ordre d’importance.
� Retravaillez le texte des thèmes: – afin d’éliminer les répétitions; – afin de vous assurer que les commentaires ne reflètent pas l’opinion d’une seule personne; et – afin de refléter de façon exacte et équilibrée ce qui a été dit.
� Rédigez un résumé de chacun des thèmes.
� Choisissez et retravaillez des citations illustrant chacun des thèmes, mais : – évitez des opinions extrêmes; – choisissez des commentaires représentatifs de l’opinion générale; – corrigez la grammaire et la langue si nécessaire.
� Protégez l’identité des participants en éliminant les noms et tout élément permettant de les identifier.
38 39
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
38
Techniques
A faire
� Montrez de l’empathie et de l’ouverture d’esprit.
� Pratiquez une écoute active, paraphrasez, résumez.
� Gardez le contrôle sans être directif.
� Equilibrez les apports des participants dominants et silencieux.
� Demandez s’il y a des avis divergents.
� Utilisez efficacement les pauses et les sondes.
A éviter
� Hocher la tête (sauf exceptionnellement).
� Exprimer son accord (« OK », « Oui »).
Comment faire parler les participants
� Commencez par une question générale, telle que « Qu’avez-vous pensé de...? »
� Demandez l’opinion de participants qui ne se sont pas encore exprimés.
� Utilisez les silences: posez une question et prenez ensuite le temps de regarder les participants en attendant des réponses.
Comment faire taire les bavards
� Interrompez une longue discussion en résumant les deux opinions et en demandant ensuite aux autres participants s’ils ont d’autres avis.
� Faites un signe d’arrêt de la paume de la main, comme un policier, afin d’arrêter quelqu’un.
� Tapotez le bras d’un bavard proche de vous.
� Evitez le contact visuel avec un bavard dominant.
� Dites « On laisse quelqu’un d’autre commencer? », « Attendez, nous n’avons pas encore entendu Jean », « Oui, vous l’avez déjà dit », ou « J’ai l’impression que d’autres participants veulent s’exprimer ».
� Créez une diversion importante et reprenez ensuite le débat.
Enregistrement des données
Enregistrement sur bande magnétique
� Avantage: enregistrement complet des données.
� Inconvénient: l’écoute de la bande prend beaucoup de temps.
Techniques
� Informer les participants et obtenir leur autorisation avant d’enregistrer.
� Utiliser un dispositif discret.
� Se servir de bandes d’une durée suffisante pour ne pas avoir à les changer au milieu d’une discussion.
Guide des évaluations stratégiques
39
Notes écrites
� Des notes devraient être prises même si les débats sont enregistrés.
� Notez de temps en temps en marge de vos notes l’emplacement sur la bande, afin de retrouver facilement, lors de l’écoute ultérieure, des points spécifiques.
� Les notes ne doivent pas être prises par l’animateur mais par un assistant.
� Prenez des notes constamment, afin de ne pas donner aux participants l’impression que certains commentaires ont plus de valeur que d’autres.
� Soulignez les points qui semblent importants.
� Vous pouvez définir des catégories par avance et organiser vos notes en réservant des espaces aux commentaires y afférents.
Commentaires de l’observateur
� Prenez des notes de ce qui vous vient à l’esprit pendant la session: thèmes importants, idées pour la session suivante, reformulation de questions, etc. Notez bien qu’il s’agit de vos réflexions.
Analyse des données
Procédure
� Tapez les commentaires importants extraits du brouillon de notes et notez les noms des intervenants si possible.
� Coupez/collez des commentaires afin de les organiser par thèmes (matériellement avec des ciseaux ou sur l’ordinateur).
� Classez les commentaires ordonnés en thèmes par sous-thèmes.
� Classez les thèmes par ordre d’importance.
� Retravaillez le texte des thèmes: – afin d’éliminer les répétitions; – afin de vous assurer que les commentaires ne reflètent pas l’opinion d’une seule personne; et – afin de refléter de façon exacte et équilibrée ce qui a été dit.
� Rédigez un résumé de chacun des thèmes.
� Choisissez et retravaillez des citations illustrant chacun des thèmes, mais : – évitez des opinions extrêmes; – choisissez des commentaires représentatifs de l’opinion générale; – corrigez la grammaire et la langue si nécessaire.
� Protégez l’identité des participants en éliminant les noms et tout élément permettant de les identifier.
40
Guide des éva luat ions s t ra tég iques
41
Guide des évaluations stratégiques
40
Annexe V – Utilisation d’entretiens pour la collecte de données Entretiens
Tant pour les entretiens en face à face qu’au téléphone, un certain nombre de procédures peuvent contribuer à en tirer le maximum de profit, notamment :
� Définir l’approche à adopter.
� Définir des questions de recherche générales et spécifiques.
� Rédiger les questions de l’entretien.
� Tester le protocole d’une façon expérimentale.
� Organiser un calendrier d’entretiens (ce point n’est pas traité ci-dessous).
� Préparer l’enregistrement des réponses.
� Mener les entretiens.
� Analyser les données tirées des entretiens.
Définition de l’approche
La première consiste à définir l’approche que l’on utilisera lors des entretiens:
� Entretien avec un informateur clé: ce type d’entretien vise à collecter des données auprès d’une personne dont la situation ou l’expérience sont particulièrement précieuses (par exemple, le directeur d’un département, qui peut représenter l’ensemble de ses services).
� Entretien normatif: un entretien normatif sert à collecter des informations auprès d’un grand nombre d’interlocuteurs (en interviewant par exemple des clients représentatifs à titre individuel).
Le type d’entretien déterminera le plan:
� un guide d’entretien: un ensemble général de questions pour un entretien avec un informateur clé; ou bien,
� un protocole d’entretien: un outil très structuré, ressemblant à un questionnaire. (La personne conduisant l’entretien enregistre souvent les réponses au protocole.)
Définition des questions de recherche générales et spécifiques
� Qu’est-ce que j’ai besoin d’apprendre?
� Quelles sont les informations essentielles que je dois obtenir de cet entretien? (N’oubliez pas que cet entretien peut s’avérer la seule occasion de les obtenir.)
Rédaction des questions de l’entretien
Certaines questions peuvent être ouvertes:
� Demander des informations générales, ou
� Ne pas restreindre les réponses possibles; par exemple « Que pensez-vous de…? »
Certaines questions peuvent être fermées:
� Demander des informations spécifiques, ou
Guide des évaluations stratégiques
41
� Restreindre les réponses à des éléments factuels, des réponses par oui ou par non, ou un choix multiple.
D’autres questions peuvent être organisées par thèmes:
� Organiser les questions en chapitres correspondant aux grands thèmes.
Prenez en considération la procédure:
� Préparez des transitions adaptées entre deux sujets.
� Préparez des sondes et des questions de procédure.
� N’oubliez pas de résumer.
Préparez des interventions d'introduction et de conclusion pour la personne interviewée. Indiquez:
� l’objet de l’entretien, sa durée et sa confidentialité;
� la valeur de sa contribution; et
� le suivi.
Tests du protocole
Il est important de faire des essais d’entretien. Ces essais vous permettront de valider:
� le contenu de vos questions;
� la séquence des thèmes;
� la méthode d’enregistrement; et
� le temps.
Si vous avez recours à d’autres personnes pour mener les entretiens, vous aurez besoin de plusieurs séances de formation afin de vous assurer qu’ils ont bien appris à utiliser le protocole.
Révisez votre protocole ou guide d’entretien afin de l’adapter après l’avoir testé auprès d’interlocuteurs ou à la suite de formations à d’autres personnes chargées des entretiens.
Entretiens téléphoniques (NOTE: les entretiens téléphoniques lors d’évaluations sont probablement plus courants à l’UICN que dans d’autres organisations en raison de son caractère très décentralisé et de la dispersion des bureaux et des responsables dans neuf régions du monde.)
� Utilisez-les pour des entretiens normatifs.
� Utilisez-les uniquement si vous ne pouvez pas rencontrer les personnes en face à face.
� Organisez-les à l’avance: expliquez leur but, leur portée et le temps nécessaire.
� Pour un entretien téléphonique avec un informateur important, faxez à l’avance les questions et les thèmes principaux du guide d’entretien.
Entretiens en face à face:
� Si possible, donnez priorité à cette méthode pour les principales parties prenantes.
� Fixez le lieu et le moment.
� Demandez de ne pas être interrompu/e par des appels ou d’autres interventions.
� Réunissez-vous dans un endroit qui vous permette d’aborder véritablement les questions à traiter.
40 41
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
40
Annexe V – Utilisation d’entretiens pour la collecte de données Entretiens
Tant pour les entretiens en face à face qu’au téléphone, un certain nombre de procédures peuvent contribuer à en tirer le maximum de profit, notamment :
� Définir l’approche à adopter.
� Définir des questions de recherche générales et spécifiques.
� Rédiger les questions de l’entretien.
� Tester le protocole d’une façon expérimentale.
� Organiser un calendrier d’entretiens (ce point n’est pas traité ci-dessous).
� Préparer l’enregistrement des réponses.
� Mener les entretiens.
� Analyser les données tirées des entretiens.
Définition de l’approche
La première consiste à définir l’approche que l’on utilisera lors des entretiens:
� Entretien avec un informateur clé: ce type d’entretien vise à collecter des données auprès d’une personne dont la situation ou l’expérience sont particulièrement précieuses (par exemple, le directeur d’un département, qui peut représenter l’ensemble de ses services).
� Entretien normatif: un entretien normatif sert à collecter des informations auprès d’un grand nombre d’interlocuteurs (en interviewant par exemple des clients représentatifs à titre individuel).
Le type d’entretien déterminera le plan:
� un guide d’entretien: un ensemble général de questions pour un entretien avec un informateur clé; ou bien,
� un protocole d’entretien: un outil très structuré, ressemblant à un questionnaire. (La personne conduisant l’entretien enregistre souvent les réponses au protocole.)
Définition des questions de recherche générales et spécifiques
� Qu’est-ce que j’ai besoin d’apprendre?
� Quelles sont les informations essentielles que je dois obtenir de cet entretien? (N’oubliez pas que cet entretien peut s’avérer la seule occasion de les obtenir.)
Rédaction des questions de l’entretien
Certaines questions peuvent être ouvertes:
� Demander des informations générales, ou
� Ne pas restreindre les réponses possibles; par exemple « Que pensez-vous de…? »
Certaines questions peuvent être fermées:
� Demander des informations spécifiques, ou
Guide des évaluations stratégiques
41
� Restreindre les réponses à des éléments factuels, des réponses par oui ou par non, ou un choix multiple.
D’autres questions peuvent être organisées par thèmes:
� Organiser les questions en chapitres correspondant aux grands thèmes.
Prenez en considération la procédure:
� Préparez des transitions adaptées entre deux sujets.
� Préparez des sondes et des questions de procédure.
� N’oubliez pas de résumer.
Préparez des interventions d'introduction et de conclusion pour la personne interviewée. Indiquez:
� l’objet de l’entretien, sa durée et sa confidentialité;
� la valeur de sa contribution; et
� le suivi.
Tests du protocole
Il est important de faire des essais d’entretien. Ces essais vous permettront de valider:
� le contenu de vos questions;
� la séquence des thèmes;
� la méthode d’enregistrement; et
� le temps.
Si vous avez recours à d’autres personnes pour mener les entretiens, vous aurez besoin de plusieurs séances de formation afin de vous assurer qu’ils ont bien appris à utiliser le protocole.
Révisez votre protocole ou guide d’entretien afin de l’adapter après l’avoir testé auprès d’interlocuteurs ou à la suite de formations à d’autres personnes chargées des entretiens.
Entretiens téléphoniques (NOTE: les entretiens téléphoniques lors d’évaluations sont probablement plus courants à l’UICN que dans d’autres organisations en raison de son caractère très décentralisé et de la dispersion des bureaux et des responsables dans neuf régions du monde.)
� Utilisez-les pour des entretiens normatifs.
� Utilisez-les uniquement si vous ne pouvez pas rencontrer les personnes en face à face.
� Organisez-les à l’avance: expliquez leur but, leur portée et le temps nécessaire.
� Pour un entretien téléphonique avec un informateur important, faxez à l’avance les questions et les thèmes principaux du guide d’entretien.
Entretiens en face à face:
� Si possible, donnez priorité à cette méthode pour les principales parties prenantes.
� Fixez le lieu et le moment.
� Demandez de ne pas être interrompu/e par des appels ou d’autres interventions.
� Réunissez-vous dans un endroit qui vous permette d’aborder véritablement les questions à traiter.
42
Guide des éva luat ions s t ra tég iques
43
Guide des évaluations stratégiques
42
Organisation d’un calendrier d’entretien
Préparer l’enregistrement des réponses
� Décidez d’une méthode à employer en règle générale pour enregistrer les entretiens: enregistrement sur bande magnétique, prise de notes.
� Organisez un protocole pour les réponses écrites.
� Prévoyez d’enregistrer les interventions verbales et de prendre des notes de la communication non verbale.
Mener les entretiens
En tant que personne chargée de conduire l’entretien, vous devez garder le contrôle du contenu de l’entretien ainsi que des procédures.
Contrôle du contenu
� Grâce à la planification et
� En suivant le guide ou le protocole.
Contrôle des procédures
� Donnez le ton dès le début avec une introduction adaptée. Présentez le contenu d’ensemble de l’entretien et fixez-en la durée.
� Coupez les réponses trop longues.
� Ne laissez pas l’entretien s’égarer; ramenez votre interlocuteur aux questions de votre protocole.
� Si votre interlocuteur est réservé, encouragez-le à parler: – par l’humour, – en acceptant d’attendre en silence, – utilisant des techniques de communication efficaces:
– écoute active, – ouverture et empathie, – en paraphrasant, – en résumant.
Analyse des données des entretiens
Entretiens normatifs
� Les réponses quantitatives peuvent être enregistrées et des analyses statistiques peuvent être faites.
� Les réponses qualitatives peuvent être analysées pour leur contenu.
Entretiens avec des informateurs clés
Dans ce cas, il s'agit d’avoir des réponses à des questions telles que:
� Quelles sont les principales opinions de ce groupe d’interlocuteurs?
� Parmi les problèmes posés, lesquels peuvent trouver des solutions?
� Lesquels nous échappent?
� Quelles sont les opinions partagées par la plupart des membres de ce groupe?
Guide des évaluations stratégiques
43
� Quelles sont les opinions divergentes?
� Quelle est la raison de ces divergences? Sont-elles liées à la personnalité des individus ou alors à la fonction, à la situation ou aux points de vue des personnes?
Certaines opinions devraient être pondérées; par exemple, certains interlocuteurs ont plus de poids que d’autres, du fait de leur importance ou du caractère vital de leurs besoins. L’essentiel est d’appréhender comment les parties prenantes perçoivent les biens et services que nous proposons. Qu’est-ce que cela nous apprend?
Conseils et astuces pour poser des questions
Lors des entretiens, des difficultés apparaissent lorsque l’on enfreint quelques règles de base. Ainsi, il faut éviter ce qui suit :
TYPE EXEMPLE A FAIRE ET À NE PAS FAIRE
Questions à tiroirs Avez-vous éprouvé de l’usure et que devraient faire les organisations pour l’éviter?
Evitez les questions à tiroirs. Posez une question à la fois. Ne combinez pas des questions en attendant une seule réponse.
Deux questions en une Quels sont les avantages et les inconvénients de la coopération avec ce programme?
N’associez pas des positions opposées en une seule question. Dissociez-les, tout sera plus clair.
Questions restrictives Pensez-vous que des femmes gestionnaires peuvent être aussi performantes que les hommes?
Cet énoncé ne semble pas concevoir la possibilité que les femmes soient meilleures. Evitez des questions qui excluent d’une façon intrinsèque certaines réponses.
Questions directives Le changement climatique est un enjeu majeur à l’heure actuelle. Pensez-vous que l’UICN devrait déployer plus d’efforts afin d’y répondre?
Ne faites pas précéder les questions d’une déclaration. Dans ce type de question, la personne qui conduit l’entretien affirme une opinion ou résume l’état d’un événement actuel ou récent et puis demande une réponse. Ce procédé aiguille l’interlocuteur dans une direction donnée.
Questions piège Etes-vous pour ou contre le fait de nuire à votre santé et à celle des autres en interdisant de fumer dans tous les bureaux de l’UICN?
Evitez les questions utilisant des mots piège ou ayant une charge émotionnelle.
42 43
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
42
Organisation d’un calendrier d’entretien
Préparer l’enregistrement des réponses
� Décidez d’une méthode à employer en règle générale pour enregistrer les entretiens: enregistrement sur bande magnétique, prise de notes.
� Organisez un protocole pour les réponses écrites.
� Prévoyez d’enregistrer les interventions verbales et de prendre des notes de la communication non verbale.
Mener les entretiens
En tant que personne chargée de conduire l’entretien, vous devez garder le contrôle du contenu de l’entretien ainsi que des procédures.
Contrôle du contenu
� Grâce à la planification et
� En suivant le guide ou le protocole.
Contrôle des procédures
� Donnez le ton dès le début avec une introduction adaptée. Présentez le contenu d’ensemble de l’entretien et fixez-en la durée.
� Coupez les réponses trop longues.
� Ne laissez pas l’entretien s’égarer; ramenez votre interlocuteur aux questions de votre protocole.
� Si votre interlocuteur est réservé, encouragez-le à parler: – par l’humour, – en acceptant d’attendre en silence, – utilisant des techniques de communication efficaces:
– écoute active, – ouverture et empathie, – en paraphrasant, – en résumant.
Analyse des données des entretiens
Entretiens normatifs
� Les réponses quantitatives peuvent être enregistrées et des analyses statistiques peuvent être faites.
� Les réponses qualitatives peuvent être analysées pour leur contenu.
Entretiens avec des informateurs clés
Dans ce cas, il s'agit d’avoir des réponses à des questions telles que:
� Quelles sont les principales opinions de ce groupe d’interlocuteurs?
� Parmi les problèmes posés, lesquels peuvent trouver des solutions?
� Lesquels nous échappent?
� Quelles sont les opinions partagées par la plupart des membres de ce groupe?
Guide des évaluations stratégiques
43
� Quelles sont les opinions divergentes?
� Quelle est la raison de ces divergences? Sont-elles liées à la personnalité des individus ou alors à la fonction, à la situation ou aux points de vue des personnes?
Certaines opinions devraient être pondérées; par exemple, certains interlocuteurs ont plus de poids que d’autres, du fait de leur importance ou du caractère vital de leurs besoins. L’essentiel est d’appréhender comment les parties prenantes perçoivent les biens et services que nous proposons. Qu’est-ce que cela nous apprend?
Conseils et astuces pour poser des questions
Lors des entretiens, des difficultés apparaissent lorsque l’on enfreint quelques règles de base. Ainsi, il faut éviter ce qui suit :
TYPE EXEMPLE A FAIRE ET À NE PAS FAIRE
Questions à tiroirs Avez-vous éprouvé de l’usure et que devraient faire les organisations pour l’éviter?
Evitez les questions à tiroirs. Posez une question à la fois. Ne combinez pas des questions en attendant une seule réponse.
Deux questions en une Quels sont les avantages et les inconvénients de la coopération avec ce programme?
N’associez pas des positions opposées en une seule question. Dissociez-les, tout sera plus clair.
Questions restrictives Pensez-vous que des femmes gestionnaires peuvent être aussi performantes que les hommes?
Cet énoncé ne semble pas concevoir la possibilité que les femmes soient meilleures. Evitez des questions qui excluent d’une façon intrinsèque certaines réponses.
Questions directives Le changement climatique est un enjeu majeur à l’heure actuelle. Pensez-vous que l’UICN devrait déployer plus d’efforts afin d’y répondre?
Ne faites pas précéder les questions d’une déclaration. Dans ce type de question, la personne qui conduit l’entretien affirme une opinion ou résume l’état d’un événement actuel ou récent et puis demande une réponse. Ce procédé aiguille l’interlocuteur dans une direction donnée.
Questions piège Etes-vous pour ou contre le fait de nuire à votre santé et à celle des autres en interdisant de fumer dans tous les bureaux de l’UICN?
Evitez les questions utilisant des mots piège ou ayant une charge émotionnelle.
44
Guide des éva luat ions s t ra tég iques
45
Guide des évaluations stratégiques
44
Annexe VI – Utilisation de questionnaires pour la collecte de données Questionnaires
Les procédures ci-dessous sont recommandées en cas d’enquête avec des questionnaires.
� Définir les principaux sujets à aborder.
� Rédiger les éléments du questionnaire.
� Concevoir le format général du questionnaire.
� Tester le questionnaire.
� Elaborer une stratégie de collecte des données.
� Rédiger une lettre de couverture et envoyer le questionnaire.
� Suivre les réponses.
� Analyser les données.
Définition des principaux sujets à aborder
Il faudrait commencer en définissant les principales questions ou sujets que vous souhaitez aborder, qui seront traités dans différents chapitres.
Exemples de chapitres
Informations générales
Il s’agit d’informations relatives à vos interlocuteurs susceptibles d’être importantes pour votre analyse, telles que l’organisation ou division à laquelle il appartient, la région, l’expérience, le sexe, la fonction, les liens et expérience avec l'UICN, etc.
Posez seulement les questions essentielles à vos sous-analyses. Ne demandez pas ce que vous n’avez pas besoin de savoir.
Qualité des biens ou des services reçus par votre interlocuteur
Ce chapitre est au cœur du questionnaire et nécessite la mise au point de critères de qualité pouvant s’avérer importants. Votre interlocuteur évaluera ainsi la qualité de vos produits selon ces critères.
Autres considérations
Pour ce chapitre, choisissez un titre correspondant à d’autres critères de service importants, tels que « respect des délais », « sécurité » ou « responsabilité environnementale ».
Réactivité, solution des problèmes, service au client
Ce chapitre aborde la perception qu’a le client de la qualité de vos services. Il peut être regroupé avec le chapitre sur la qualité ou les autres considérations.
Ces chapitres représentent les grands axes de votre questionnaire. Il faut maintenant mettre au point les questions ou les éléments de votre questionnaire.
Guide des évaluations stratégiques
45
Rédaction des éléments du questionnaire
Types d’éléments
Il faudra rédiger des éléments du questionnaire pour chacun de ses chapitres. Il est difficile de beaucoup varier les questions; posez donc des questions similaires à l’intérieur de chaque chapitre.
Il est nécessaire de maîtriser les six catégories suivantes avant d’innover et d’inventer les vôtres. Des catégories nouvelles, non testées, suscitent souvent la confusion chez le lecteur. Il est déconseillé d’essayer d’autres alternatives avant de bien maîtriser les catégories décrites ci-dessous.
Question à choix multiples
Ce type de question est particulièrement utile pour l’introduction et le chapitre sur les informations générales.
Depuis quand êtes-vous membre de la Commission de la survie des espèces (CSE)? (Veuillez cocher une case.)
� Moins de six mois � 1-2 ans � Plus de deux ans
Compléter des espaces
Utilisez cette catégorie de rubrique lorsque les catégories sont trop nombreuses pour des choix multiples. Elle s’associe bien à des questions à choix multiples. Elle est également utile dans l’introduction.
Dans quel Bureau de l’UICN travaillez-vous? ______________________________________________________________________
Echelle de notation
Ce type d’élément permet de collecter un grand nombre d’informations d’une façon efficace. Utile pour noter la qualité de vos produits (biens et services).
Dans quelle mesure est-il important pour vous d’apprendre en matière de :
Pas important du
tout
Très important
a) Responsabilité environnementale 1 2 3 4 5
Liste
La liste permet d’obtenir des informations plus affirmées qu’une échelle de notation. Elle oblige la personne interrogée à définir ce qu’elle estime important, en évitant les cas où les personnes disent être d’accord par facilité et cochent une case sans vraiment penser à ce qui est important pour elles.
Quels sont les éléments de votre formation que vous avez le plus appréciés? Veuillez en indiquer trois.
44 45
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
44
Annexe VI – Utilisation de questionnaires pour la collecte de données Questionnaires
Les procédures ci-dessous sont recommandées en cas d’enquête avec des questionnaires.
� Définir les principaux sujets à aborder.
� Rédiger les éléments du questionnaire.
� Concevoir le format général du questionnaire.
� Tester le questionnaire.
� Elaborer une stratégie de collecte des données.
� Rédiger une lettre de couverture et envoyer le questionnaire.
� Suivre les réponses.
� Analyser les données.
Définition des principaux sujets à aborder
Il faudrait commencer en définissant les principales questions ou sujets que vous souhaitez aborder, qui seront traités dans différents chapitres.
Exemples de chapitres
Informations générales
Il s’agit d’informations relatives à vos interlocuteurs susceptibles d’être importantes pour votre analyse, telles que l’organisation ou division à laquelle il appartient, la région, l’expérience, le sexe, la fonction, les liens et expérience avec l'UICN, etc.
Posez seulement les questions essentielles à vos sous-analyses. Ne demandez pas ce que vous n’avez pas besoin de savoir.
Qualité des biens ou des services reçus par votre interlocuteur
Ce chapitre est au cœur du questionnaire et nécessite la mise au point de critères de qualité pouvant s’avérer importants. Votre interlocuteur évaluera ainsi la qualité de vos produits selon ces critères.
Autres considérations
Pour ce chapitre, choisissez un titre correspondant à d’autres critères de service importants, tels que « respect des délais », « sécurité » ou « responsabilité environnementale ».
Réactivité, solution des problèmes, service au client
Ce chapitre aborde la perception qu’a le client de la qualité de vos services. Il peut être regroupé avec le chapitre sur la qualité ou les autres considérations.
Ces chapitres représentent les grands axes de votre questionnaire. Il faut maintenant mettre au point les questions ou les éléments de votre questionnaire.
Guide des évaluations stratégiques
45
Rédaction des éléments du questionnaire
Types d’éléments
Il faudra rédiger des éléments du questionnaire pour chacun de ses chapitres. Il est difficile de beaucoup varier les questions; posez donc des questions similaires à l’intérieur de chaque chapitre.
Il est nécessaire de maîtriser les six catégories suivantes avant d’innover et d’inventer les vôtres. Des catégories nouvelles, non testées, suscitent souvent la confusion chez le lecteur. Il est déconseillé d’essayer d’autres alternatives avant de bien maîtriser les catégories décrites ci-dessous.
Question à choix multiples
Ce type de question est particulièrement utile pour l’introduction et le chapitre sur les informations générales.
Depuis quand êtes-vous membre de la Commission de la survie des espèces (CSE)? (Veuillez cocher une case.)
� Moins de six mois � 1-2 ans � Plus de deux ans
Compléter des espaces
Utilisez cette catégorie de rubrique lorsque les catégories sont trop nombreuses pour des choix multiples. Elle s’associe bien à des questions à choix multiples. Elle est également utile dans l’introduction.
Dans quel Bureau de l’UICN travaillez-vous? ______________________________________________________________________
Echelle de notation
Ce type d’élément permet de collecter un grand nombre d’informations d’une façon efficace. Utile pour noter la qualité de vos produits (biens et services).
Dans quelle mesure est-il important pour vous d’apprendre en matière de :
Pas important du
tout
Très important
a) Responsabilité environnementale 1 2 3 4 5
Liste
La liste permet d’obtenir des informations plus affirmées qu’une échelle de notation. Elle oblige la personne interrogée à définir ce qu’elle estime important, en évitant les cas où les personnes disent être d’accord par facilité et cochent une case sans vraiment penser à ce qui est important pour elles.
Quels sont les éléments de votre formation que vous avez le plus appréciés? Veuillez en indiquer trois.
46
Guide des éva luat ions s t ra tég iques
47
Guide des évaluations stratégiques
46
Commentaires
Ce type d’élément permet de mieux saisir ce que votre interlocuteur estime important. Il est particulièrement utile pour la synthèse en fin de questionnaire.
Autres commentaires sur l’orientation future de ce programme.
Echelle de Likert
L’échelle de Likert permet au répondant de se dire en accord ou en désaccord avec un certain nombre d’affirmations (notez qu’il s’agit d’affirmations et non de questions). Elle est facile à utiliser, si l’on connaît le mode d’emploi et, à l’instar d’autres échelles de notation, elle permet de collecter efficacement beaucoup d’informations.
Pas du tout d’accord
Pasd’accord
Ni d’accord ni en
désaccord D’accord Tout à fait
d’accord
Je suis satisfait de mon avancement professionnel (à savoir, j’acquiers de nouvelles connaissances et de nouvelles compétences)
� � � � �
Il existe des possibilités d’avancement de carrière (c’est-à-dire d’avoir des responsabilités plus importantes)
� � � � �
Essayez par vous-même maintenant. Remplissez les espaces avec des commentaires portant sur des critères correspondants aux produits de votre unité. Portez-y des éléments rédigés de façon positive et de façon négative.
1.
2.
3.
Guide des évaluations stratégiques
47
Disposition et format du questionnaire
A mesure que vous rédigez les différents éléments du questionnaire, vous devriez commencez à concevoir son format général. Quelques règles utiles:
� Mettez en page les différentes questions pour éviter des confusions.
� Utilisez les formats contenus dans les exemples.
� Une question ne devrait pas s’étendre sur deux pages.
� Pour chaque type de question, indiquez à la personne ce qu’elle doit faire.
� Numérotez les questions les unes à la suite des autres.
Utilisez un format brochure
� Pour plus de professionnalisme et pour faciliter le travail des répondants.
Ajoutez un titre et une introduction
� Pour que vos interlocuteurs sachent ce que vous êtes en train de faire; et
� pour les aider à bien remplir le questionnaire.
Organisez le questionnaire en chapitres, chacun avec un titre
� Pour aider à organiser la réflexion des répondants; et
� pour faciliter l’analyse.
Regroupez les catégories d’éléments similaires
� Notamment pour les échelles de notation.
� En revanche, les questions à compléter et les choix multiples peuvent être combinés.
Utilisez tout l’espace disponible
� Essayez de limiter la longueur du questionnaire à quatre pages.
� Utilisez des espaces à remplir pour compléter des pages.
Tests du questionnaire
Tout questionnaire, même le meilleur, nécessite d’être testé. Vous comprenez probablement tout dans votre questionnaire; ce n’est peut-être pas le cas des personnes que vous interrogez. Voici quelques conseils pour vous aider à tester votre questionnaire.
Montrez le questionnaire à des collègues critiques
� Demandez-leur de le lire et d’écrire des commentaires en marge.
� Adaptez le questionnaire.
Testez le questionnaire auprès d’un petit nombre de parties prenantes
� Réunissez 5 ou 6 parties prenantes.
� Demandez-leur de compléter le questionnaire par écrit.
� Examinez chacune des questions avec le groupe.
46 47
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
46
Commentaires
Ce type d’élément permet de mieux saisir ce que votre interlocuteur estime important. Il est particulièrement utile pour la synthèse en fin de questionnaire.
Autres commentaires sur l’orientation future de ce programme.
Echelle de Likert
L’échelle de Likert permet au répondant de se dire en accord ou en désaccord avec un certain nombre d’affirmations (notez qu’il s’agit d’affirmations et non de questions). Elle est facile à utiliser, si l’on connaît le mode d’emploi et, à l’instar d’autres échelles de notation, elle permet de collecter efficacement beaucoup d’informations.
Pas du tout d’accord
Pasd’accord
Ni d’accord ni en
désaccord D’accord Tout à fait
d’accord
Je suis satisfait de mon avancement professionnel (à savoir, j’acquiers de nouvelles connaissances et de nouvelles compétences)
� � � � �
Il existe des possibilités d’avancement de carrière (c’est-à-dire d’avoir des responsabilités plus importantes)
� � � � �
Essayez par vous-même maintenant. Remplissez les espaces avec des commentaires portant sur des critères correspondants aux produits de votre unité. Portez-y des éléments rédigés de façon positive et de façon négative.
1.
2.
3.
Guide des évaluations stratégiques
47
Disposition et format du questionnaire
A mesure que vous rédigez les différents éléments du questionnaire, vous devriez commencez à concevoir son format général. Quelques règles utiles:
� Mettez en page les différentes questions pour éviter des confusions.
� Utilisez les formats contenus dans les exemples.
� Une question ne devrait pas s’étendre sur deux pages.
� Pour chaque type de question, indiquez à la personne ce qu’elle doit faire.
� Numérotez les questions les unes à la suite des autres.
Utilisez un format brochure
� Pour plus de professionnalisme et pour faciliter le travail des répondants.
Ajoutez un titre et une introduction
� Pour que vos interlocuteurs sachent ce que vous êtes en train de faire; et
� pour les aider à bien remplir le questionnaire.
Organisez le questionnaire en chapitres, chacun avec un titre
� Pour aider à organiser la réflexion des répondants; et
� pour faciliter l’analyse.
Regroupez les catégories d’éléments similaires
� Notamment pour les échelles de notation.
� En revanche, les questions à compléter et les choix multiples peuvent être combinés.
Utilisez tout l’espace disponible
� Essayez de limiter la longueur du questionnaire à quatre pages.
� Utilisez des espaces à remplir pour compléter des pages.
Tests du questionnaire
Tout questionnaire, même le meilleur, nécessite d’être testé. Vous comprenez probablement tout dans votre questionnaire; ce n’est peut-être pas le cas des personnes que vous interrogez. Voici quelques conseils pour vous aider à tester votre questionnaire.
Montrez le questionnaire à des collègues critiques
� Demandez-leur de le lire et d’écrire des commentaires en marge.
� Adaptez le questionnaire.
Testez le questionnaire auprès d’un petit nombre de parties prenantes
� Réunissez 5 ou 6 parties prenantes.
� Demandez-leur de compléter le questionnaire par écrit.
� Examinez chacune des questions avec le groupe.
48
Guide des éva luat ions s t ra tég iques
49
Guide des évaluations stratégiques
48
Lors de cette étape, posez des questions telles que:
� La question était-elle claire, pouvait-on y répondre?
� La question touchait-elle aux aspects importants du sujet traité?
� Qu’est-ce qui manque?
� L’ensemble du questionnaire permet-il aux parties prenantes d’exprimer réellement ce qu’elles pensent du travail de votre organisation?
Révisez le questionnaire à nouveau
Oui, vous avez raison, c’est beaucoup de travail! La préparation d’un bon questionnaire peut prendre une semaine de travail à plein temps, même pour un professionnel.
Mise au point d’une stratégie de collecte de données
Vous avez maintenant un questionnaire prêt à l’emploi. Vous aurez besoin d’une stratégie pour déterminer où et comment l’envoyer. La première étape consiste à choisir un échantillon de personnes représentatives des parties prenantes. Elaborez une liste de cet échantillon.
Ensuite il faudra choisir les modalités d’envoi de votre questionnaire.
Questionnaires classiques
Les questionnaires sont imprimés, par vos soins ou chez un imprimeur, et envoyés par courrier aux personnes interrogées, qui les remplissent et les renvoient par courrier. Les résultats sont incorporés manuellement dans une base de données ou un programme statistique aux fins de leur analyse.
Balayage optique
Il est possible d’imprimer les questionnaires de telle façon qu’ils soient lus par balayage optique, ce qui permet de saisir les réponses automatiquement. Les modèles de questionnaires de l’Annexe VII ont été conçus à cet usage. (Les pictogrammes permettent d’illustrer certains points.)
Questionnaires électroniques
Il s’agit de fichiers électroniques envoyés aux interlocuteurs par courriel. La personne reçoit le fichier, remplit le questionnaire sur son ordinateur et renvoie le fichier par courriel.
Questionnaires sur Internet
Cette méthode nécessite le concours d’un programmateur afin de concevoir un programme informatique pouvant être affiché sur un site Internet. Les personnes interrogées répondent en ligne à un petit nombre de questions. Les réponses sont exploitées automatiquement par le logiciel. Cette méthode s’adapte particulièrement aux échantillons très importants (centaines, milliers) et aux cas où les questions sont peu nombreuses et quantitatives.
Suivi
Vous avez également besoin d’une stratégie de suivi. Il faudra:
� Suivre quotidiennement le nombre de réponses: le courrier électronique permet de savoir qui n’a pas encore répondu.
� Envoyer un rappel deux semaines après le premier envoi.
� Prendre des mesures correctrices si les retours sont peu nombreux.
Lorsque des personnalités importantes de chaque unité distribuent et collectent les questionnaires, le réseau pyramidal est très performant, mais ce sont les réseaux personnels qui donnent les meilleurs résultats en matière de retour.
Guide des évaluations stratégiques
49
Préparation d’une lettre de couverture et envoi du questionnaire
Chaque personne faisant partie de votre échantillon doit recevoir:
� une lettre de couverture;
� un questionnaire de niveau professionnel; et
� une enveloppe auto-adressée pour le retour, à moins que ce dernier soit prévu par courriel.
Lettre de couverture
Tout questionnaire réussi est accompagné d’une lettre de couverture. Cette dernière doit comporter six éléments d’information:
� le but du questionnaire;
� l’expéditeur;
� pourquoi la personne a été choisie;
� où, comment et quand renvoyer le questionnaire;
� qui contacter si l’on a des questions; et
� si les résultats vont être communiqués et si oui, comment.
Suivi des réponses
� Comptez 4 à 6 semaines pour avoir des réponses à votre questionnaire.
� Appliquez votre stratégie de suivi: envoyez des lettres de rappel ou activez vos réseaux.
� Commencez l’analyse lorsque les réponses commencent à se tarir.
Analyse des données
L’analyse des questionnaires implique en règle générale de traiter des nombres importants ou variés, ce qui nécessite l’emploi de notions statistiques et le recours à l’informatique. Il existe des manuels et des logiciels statistiques de base qui vous aideront à analyser les données.
Six étapes pour la mise en place de questionnaires performants: résumé
Définition des questions
� Que souhaitez-vous savoir?
� De quelle façon les informations y contribueront-elles?
� Quelles questions sont susceptibles d’être traitées par un questionnaire et lesquelles se prêtent mieux à d’autres méthodes de collecte de données?
Définition des sous-questions
� Faites une liste de tous les éléments que vous voulez connaître.
� Rédigez les sous-questions à incorporer au questionnaire.
� Affinez votre liste.
48 49
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
48
Lors de cette étape, posez des questions telles que:
� La question était-elle claire, pouvait-on y répondre?
� La question touchait-elle aux aspects importants du sujet traité?
� Qu’est-ce qui manque?
� L’ensemble du questionnaire permet-il aux parties prenantes d’exprimer réellement ce qu’elles pensent du travail de votre organisation?
Révisez le questionnaire à nouveau
Oui, vous avez raison, c’est beaucoup de travail! La préparation d’un bon questionnaire peut prendre une semaine de travail à plein temps, même pour un professionnel.
Mise au point d’une stratégie de collecte de données
Vous avez maintenant un questionnaire prêt à l’emploi. Vous aurez besoin d’une stratégie pour déterminer où et comment l’envoyer. La première étape consiste à choisir un échantillon de personnes représentatives des parties prenantes. Elaborez une liste de cet échantillon.
Ensuite il faudra choisir les modalités d’envoi de votre questionnaire.
Questionnaires classiques
Les questionnaires sont imprimés, par vos soins ou chez un imprimeur, et envoyés par courrier aux personnes interrogées, qui les remplissent et les renvoient par courrier. Les résultats sont incorporés manuellement dans une base de données ou un programme statistique aux fins de leur analyse.
Balayage optique
Il est possible d’imprimer les questionnaires de telle façon qu’ils soient lus par balayage optique, ce qui permet de saisir les réponses automatiquement. Les modèles de questionnaires de l’Annexe VII ont été conçus à cet usage. (Les pictogrammes permettent d’illustrer certains points.)
Questionnaires électroniques
Il s’agit de fichiers électroniques envoyés aux interlocuteurs par courriel. La personne reçoit le fichier, remplit le questionnaire sur son ordinateur et renvoie le fichier par courriel.
Questionnaires sur Internet
Cette méthode nécessite le concours d’un programmateur afin de concevoir un programme informatique pouvant être affiché sur un site Internet. Les personnes interrogées répondent en ligne à un petit nombre de questions. Les réponses sont exploitées automatiquement par le logiciel. Cette méthode s’adapte particulièrement aux échantillons très importants (centaines, milliers) et aux cas où les questions sont peu nombreuses et quantitatives.
Suivi
Vous avez également besoin d’une stratégie de suivi. Il faudra:
� Suivre quotidiennement le nombre de réponses: le courrier électronique permet de savoir qui n’a pas encore répondu.
� Envoyer un rappel deux semaines après le premier envoi.
� Prendre des mesures correctrices si les retours sont peu nombreux.
Lorsque des personnalités importantes de chaque unité distribuent et collectent les questionnaires, le réseau pyramidal est très performant, mais ce sont les réseaux personnels qui donnent les meilleurs résultats en matière de retour.
Guide des évaluations stratégiques
49
Préparation d’une lettre de couverture et envoi du questionnaire
Chaque personne faisant partie de votre échantillon doit recevoir:
� une lettre de couverture;
� un questionnaire de niveau professionnel; et
� une enveloppe auto-adressée pour le retour, à moins que ce dernier soit prévu par courriel.
Lettre de couverture
Tout questionnaire réussi est accompagné d’une lettre de couverture. Cette dernière doit comporter six éléments d’information:
� le but du questionnaire;
� l’expéditeur;
� pourquoi la personne a été choisie;
� où, comment et quand renvoyer le questionnaire;
� qui contacter si l’on a des questions; et
� si les résultats vont être communiqués et si oui, comment.
Suivi des réponses
� Comptez 4 à 6 semaines pour avoir des réponses à votre questionnaire.
� Appliquez votre stratégie de suivi: envoyez des lettres de rappel ou activez vos réseaux.
� Commencez l’analyse lorsque les réponses commencent à se tarir.
Analyse des données
L’analyse des questionnaires implique en règle générale de traiter des nombres importants ou variés, ce qui nécessite l’emploi de notions statistiques et le recours à l’informatique. Il existe des manuels et des logiciels statistiques de base qui vous aideront à analyser les données.
Six étapes pour la mise en place de questionnaires performants: résumé
Définition des questions
� Que souhaitez-vous savoir?
� De quelle façon les informations y contribueront-elles?
� Quelles questions sont susceptibles d’être traitées par un questionnaire et lesquelles se prêtent mieux à d’autres méthodes de collecte de données?
Définition des sous-questions
� Faites une liste de tous les éléments que vous voulez connaître.
� Rédigez les sous-questions à incorporer au questionnaire.
� Affinez votre liste.
50
Guide des éva luat ions s t ra tég iques
51
Guide des évaluations stratégiques
50
Rédaction des éléments du questionnaire
� Traduisez les questions par différents types d’éléments.
� Formulez des questions à choix multiples, à compléter, des échelles de notation, des listes, des demandes de commentaires, des questions à échelles de Likert. Choisissez les mieux adaptées à la situation.
Organisation des différents éléments
� Regroupez les éléments en chapitres.
� Regroupez les éléments par types de questions.
� Adaptez les éléments selon que de besoin.
Disposition générale et format du questionnaire
� Ordonnez et numérotez les questions.
� Organisez le questionnaire en format brochure.
� Répartissez les questions sur les différentes pages.
Tests du questionnaire
� Affinez le texte du questionnaire avec des répondants.
� Testez le projet de questionnaire avec un groupe de parties prenantes.
� Examinez le questionnaire et testez-le de nouveau si nécessaire.
Guide des évaluations stratégiques
51
Annexe VII – Exemples de questionnaires et de protocoles de l'UICN Les questionnaires ci-dessous ont été préparés aux fins d’évaluations stratégiques passées; ils sont disponibles auprès du Bureau de suivi et d’évaluation pour adaptation à des évaluations ultérieures. Si les questions varient selon les cas, il existe un noyau de questions centrales pouvant servir à la conception de nouveaux outils d’évaluation. Pour recevoir les documents ci-dessous, veuillez contacter le Bureau de suivi et d’évaluation.
PARTIE PRENANTE EVALUATION À L’ORIGINE DE L’OUTIL LANGUE
Directeurs régionaux Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Directeurs régionaux Evaluation stratégique de l’UICN – Bureau régional pour l’Europe (ERO)
Anglais
Directeurs régionaux Evaluation stratégique de l’UICN – Bureau du Canada
Anglais
Directeurs de programmes thématiques Evaluation stratégique de l’UICN – Canada Anglais
Responsables de programmes thématiques et correspondants des Commissions
Evaluation stratégique de l’UICN – ERO Anglais
Responsables de programmes thématiques et correspondants des Commissions
Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Donateurs Auto-évaluation du Bureau de l’UICN pour le Sénégal Français
Donateurs Evaluation stratégique de l’UICN – ERO Anglais
Donateurs Evaluation stratégique de l’UICN – Bureau du Canada Anglais
Donateurs Evaluation stratégique de l’UICN – CEI Anglais
Donateurs Evaluation stratégique de l’UICN – Pakistan Anglais
Donateurs Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Membres Evaluation stratégique de l’UICN – Canada Français
Membres Evaluation stratégique de l’UICN – ERO Anglais
Membres Auto-évaluation du Bureau de l’UICN pour le Sénégal Français
Membres Evaluation stratégique de l’UICN – Bureau du Canada
Anglais
Membres Evaluation stratégique de l’UICN – Bureau de l’Amérique du Sud
Anglais
Membres Evaluation stratégique de l’UICN – Bureau de la CEI Anglais
Membres Evaluation stratégique de l’UICN – Bureau du Pakistan
Anglais
Membres Evaluation stratégique de l’UICN – Amérique du Sud Espagnol
Membres Evaluation stratégique de l’UICN - ERO Espagnol
Membres Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
50 51
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
50
Rédaction des éléments du questionnaire
� Traduisez les questions par différents types d’éléments.
� Formulez des questions à choix multiples, à compléter, des échelles de notation, des listes, des demandes de commentaires, des questions à échelles de Likert. Choisissez les mieux adaptées à la situation.
Organisation des différents éléments
� Regroupez les éléments en chapitres.
� Regroupez les éléments par types de questions.
� Adaptez les éléments selon que de besoin.
Disposition générale et format du questionnaire
� Ordonnez et numérotez les questions.
� Organisez le questionnaire en format brochure.
� Répartissez les questions sur les différentes pages.
Tests du questionnaire
� Affinez le texte du questionnaire avec des répondants.
� Testez le projet de questionnaire avec un groupe de parties prenantes.
� Examinez le questionnaire et testez-le de nouveau si nécessaire.
Guide des évaluations stratégiques
51
Annexe VII – Exemples de questionnaires et de protocoles de l'UICN Les questionnaires ci-dessous ont été préparés aux fins d’évaluations stratégiques passées; ils sont disponibles auprès du Bureau de suivi et d’évaluation pour adaptation à des évaluations ultérieures. Si les questions varient selon les cas, il existe un noyau de questions centrales pouvant servir à la conception de nouveaux outils d’évaluation. Pour recevoir les documents ci-dessous, veuillez contacter le Bureau de suivi et d’évaluation.
PARTIE PRENANTE EVALUATION À L’ORIGINE DE L’OUTIL LANGUE
Directeurs régionaux Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Directeurs régionaux Evaluation stratégique de l’UICN – Bureau régional pour l’Europe (ERO)
Anglais
Directeurs régionaux Evaluation stratégique de l’UICN – Bureau du Canada
Anglais
Directeurs de programmes thématiques Evaluation stratégique de l’UICN – Canada Anglais
Responsables de programmes thématiques et correspondants des Commissions
Evaluation stratégique de l’UICN – ERO Anglais
Responsables de programmes thématiques et correspondants des Commissions
Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Donateurs Auto-évaluation du Bureau de l’UICN pour le Sénégal Français
Donateurs Evaluation stratégique de l’UICN – ERO Anglais
Donateurs Evaluation stratégique de l’UICN – Bureau du Canada Anglais
Donateurs Evaluation stratégique de l’UICN – CEI Anglais
Donateurs Evaluation stratégique de l’UICN – Pakistan Anglais
Donateurs Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Membres Evaluation stratégique de l’UICN – Canada Français
Membres Evaluation stratégique de l’UICN – ERO Anglais
Membres Auto-évaluation du Bureau de l’UICN pour le Sénégal Français
Membres Evaluation stratégique de l’UICN – Bureau du Canada
Anglais
Membres Evaluation stratégique de l’UICN – Bureau de l’Amérique du Sud
Anglais
Membres Evaluation stratégique de l’UICN – Bureau de la CEI Anglais
Membres Evaluation stratégique de l’UICN – Bureau du Pakistan
Anglais
Membres Evaluation stratégique de l’UICN – Amérique du Sud Espagnol
Membres Evaluation stratégique de l’UICN - ERO Espagnol
Membres Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
52
Guide des éva luat ions s t ra tég iques
53
Guide des évaluations stratégiques
52
Membres Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Anglais
Membres Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Français
Membres Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Espagnol
Personnel de l’UICN Auto-évaluation du Bureau de l’UICN pour le Sénégal Français
Personnel de l’UICN Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau du Pakistan
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau de la CEI
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau du Canada
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau de l’Amérique du Sud
Espagnol
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau européen
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Anglais
Partenaires Evaluation stratégique de l’UICN – Mise en place de l’Accord du Programme de la Liste Rouge
Anglais
Guide des évaluations stratégiques
53
Annexe VIII – Incorporation de données d’échelles des questionnaires sous MS Excel Note: Il s’agit d’indications de base ne comportant pas de ventilation des réponses par sexe, catégorie (partenaire, membre, donateur, etc.) Des catégorisations plus complexes peuvent être ajoutées.
� Numérotez chaque questionnaire; ce sera le numéro d’identification du questionnaire. Dans l’exemple ci-dessus, 8 questionnaires ont été codés et les réponses ont été incorporées.
� Saisissez le numéro de chaque question comportant des données en échelle sur la première ligne. Dans l’exemple ci-dessus, les questions répertoriées vont de la question 1.2 à la question 4.5.
� Numérotez les réponses d’échelle possibles à l’intérieur de chaque question (sur un original du questionnaire); ainsi, si l’échelle du questionnaire comporte les réponses: « d’accord » « ni d’accord ni en désaccord » « pas d’accord », elles seront numérotées respectivement de 1 à 3; d’accord = 1, ni d’accord ni en désaccord = 2, pas d’accord=3.
� Incorporez toutes les données. Par exemple, dans le questionnaire portant l’identification ID1, question 1.2, réponse « 1 » ; question 1.3 réponse « 4 » ; question 1.5 réponse « 3 » et ainsi de suite.
� Insérez votre formule « COUNTIF » sous vos données. Vérifiez que vous avez bien incorporé jusqu’au rang maximal figurant au questionnaire (ainsi, si l’échelle va de 1 à 5, assurez-vous que vous insérez des formules COUNTIF jusqu’à 5). Excel compte le nombre de personnes ayant répondu « 1 », le nombre ayant répondu « 2 » et ainsi de suite.
52 53
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
52
Membres Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Anglais
Membres Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Français
Membres Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Espagnol
Personnel de l’UICN Auto-évaluation du Bureau de l’UICN pour le Sénégal Français
Personnel de l’UICN Evaluation stratégique de l’UICN – Afrique de l’Ouest (BRAO)
Français
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau du Pakistan
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau de la CEI
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau du Canada
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau de l’Amérique du Sud
Espagnol
Personnel de l’UICN Evaluation stratégique de l’UICN – Auto-évaluation du personnel du Bureau européen
Anglais
Personnel de l’UICN Evaluation stratégique de l’UICN – Centre de coopération pour la Méditerranée
Anglais
Partenaires Evaluation stratégique de l’UICN – Mise en place de l’Accord du Programme de la Liste Rouge
Anglais
Guide des évaluations stratégiques
53
Annexe VIII – Incorporation de données d’échelles des questionnaires sous MS Excel Note: Il s’agit d’indications de base ne comportant pas de ventilation des réponses par sexe, catégorie (partenaire, membre, donateur, etc.) Des catégorisations plus complexes peuvent être ajoutées.
� Numérotez chaque questionnaire; ce sera le numéro d’identification du questionnaire. Dans l’exemple ci-dessus, 8 questionnaires ont été codés et les réponses ont été incorporées.
� Saisissez le numéro de chaque question comportant des données en échelle sur la première ligne. Dans l’exemple ci-dessus, les questions répertoriées vont de la question 1.2 à la question 4.5.
� Numérotez les réponses d’échelle possibles à l’intérieur de chaque question (sur un original du questionnaire); ainsi, si l’échelle du questionnaire comporte les réponses: « d’accord » « ni d’accord ni en désaccord » « pas d’accord », elles seront numérotées respectivement de 1 à 3; d’accord = 1, ni d’accord ni en désaccord = 2, pas d’accord=3.
� Incorporez toutes les données. Par exemple, dans le questionnaire portant l’identification ID1, question 1.2, réponse « 1 » ; question 1.3 réponse « 4 » ; question 1.5 réponse « 3 » et ainsi de suite.
� Insérez votre formule « COUNTIF » sous vos données. Vérifiez que vous avez bien incorporé jusqu’au rang maximal figurant au questionnaire (ainsi, si l’échelle va de 1 à 5, assurez-vous que vous insérez des formules COUNTIF jusqu’à 5). Excel compte le nombre de personnes ayant répondu « 1 », le nombre ayant répondu « 2 » et ainsi de suite.
54
Guide des éva luat ions s t ra tég iquesGuide des évaluations stratégiques
54
� Saisissez vos questions sous toutes les données et reliez les résultats de vos formules COUNTIF à la question correspondante. Comme vous pouvez observer dans l’exemple ci-dessus, la question A.1 « ne correspondait pas » aux liens avec la formule de la cellule « B15 ».
� Surlignez le texte de chaque question, une question à la fois, et utilisez l’outil graphique afin de créer un graphique avec vos données.
Questionnaire à informations qualitatives sous Word
� Ouvrez un document Word distinct pour chaque type de questionnaire, par exemple, membre, donateur, collaborateur de l’UICN, etc.
� Dans le document Word, faites un tableau pour chaque question qualitative et ouvrez une colonne à gauche avec l’identification du questionnaire (voir exemple ci-dessus). Vous aurez déjà attribué un numéro d’identification à chaque question en incorporant les données sous Excel.
� Saisissez les commentaires dans chaque tableau, question par question, à côté du numéro d’identification du questionnaire. Si les personnes interrogées n’ont pas répondu, laissez la ligne en blanc.