Embed Size (px)
Citation preview
BANQUE AFRICAINE DE DEVELOPPEMENT FONDS AFRICAIN DE DEVELOPPEMENT
ADB/BD/IF/2017/184 ADF/BD/IF/2017/122
23 octobre 2017
Préparé par: BDEV
Original: Anglais
Date probable de présentation aux Conseils
Sans objet
POUR INFORMATION
MEMORANDUM
AUX : CONSEILS D’ADMINISTRATION
DE : Vincent O. NMEHIELLE
Secrétaire général
OBJET : NOTE D’INFORMATION SUR L’EVALUATION DE L’ASSURANCE
QUALITE LE LONG DU CYCLE DE PROJET : PROMOUVOIR LA
REDEVABILITE ET L’APPRENTISSAGE POUR L’EFFICACITE DU
DEVELOPPEMENT*
Veuillez trouver ci-joint, une Note d’information relative à l’objet
susmentionné.
P.J:
cc: Le Président
* Pour toute question concernant ce document, prière s’adresser à:
M. R. NANGIA Evaluateur général BDEV Poste 2041
M. F. TURAY Responsable BDEV.1 Poste 3257
M.M. MAMPUZHASSERIL Chargé d’évaluation en chef BDEV.2 Poste 1696 SCCD:BWJ
GROUPE DE LA BANQUE AFRICAINE DE DEVELOPPEMENT
NOTE D’INFORMATION SUR L’EVALUATION DE L’ASSURANCE
QUALITE LE LONG DU CYCLE DE PROJET : PROMOUVOIR LA
REDEVABILITE ET L’APPRENTISSAGE POUR L’EFFICACITE
DU DEVELOPPEMENT
DEPARTEMENT BDEV
Octobre 2017
Document traduit
P
ub
lica
tio
n a
uto
risé
e
P
ub
lica
tio
n a
uto
risé
e
Note d’information
Evaluation de l’assurance qualité le long du cycle de projet:
promouvoir la redevabilité et l’apprentissage pour l’efficacité du
développement
Octobre 2017
Information de contexte pour les membres du CODE :
Tel que défini dans la mise à jour du programme de travail 2016-2018 d’IDEV pour 2017, discuté
dans le CODE au premier trimestre 2017, IDEV prévoit la conduite de quatre évaluations de : (i) la
qualité à l’entrée, (ii) la qualité de la supervision, (iii) du système intégré de sauvegardes, et (iv) des
processus d’auto-évaluation. Du fait des synergies conceptuelles entre ces différentes évaluations,
IDEV propose la production d’un rapport « chapeau » portant sur l’assurance qualité le long du cycle
de projet. Cette note présente l’approche proposée, qui sera affinée pendant la phase de définition de
l’évaluation. L’équipe IDEV est à disposition pour fournir toutes les informations complémentaires
souhaitées par les membres du CODE.
Table des matières 1.0 Introduction ................................................................................................................................ 2
2.0 Objectifs et justification de l'évaluation .................................................................................... 2
2.1 Les défis de la qualité du portefeuille........................................................................................ 3
2.2 Tirer profit des synergies conceptuelles et ajouter de la valeur ............................................... 4
2.3 Ponctualité dans le cadre du MDPS et du Top 5 ...................................................................... 6
3.0 Comment IDEV mettra en œuvre l’évaluation ? ....................................................................... 7
4.0 Que produira IDEV ? ................................................................................................................. 7
2
1.0 Introduction
Cette note présente les évaluations planifiées par IDEV portant sur l’assurance qualité le long
du cycle de projet, qui seront démarrées en 2017. La mise à jour pour 2017 du plan de travail 2016-
2018 d’IDEV, approuvée par le Comité des opérations et pour l’efficacité du développement du
Conseil (CODE) en Février 2017, inclut les évaluations suivantes : (i) qualité à l’entrée ; (ii) qualité
de la supervision ; (iii) système intégré de sauvegardes ; and (iv) processus d’auto-évaluation. Ces
évaluations sont particulièrement ponctuelles du fait des initiatives en cours pour la revue et la
réforme des processus institutionnels de la Banque dans le cadre du nouveau modèle de
développement et de prestation de services (MDPS), et de l’accélération des résultats. De plus, ces
évaluations répondent aux engagements pris dans le cadre du FAD-14: (i) améliorer la qualité de
conception des projets, la qualité de la supervision, et la performance des opérations ; et (ii) s’assurer
que la Banque fonctionne comme une organisation apprenante.i
D’une façon similaire à l’évaluation globale des résultats de développement (EGRD) de 2016,
IDEV propose de mettre en œuvre les évaluations planifiées en utilisant une approche
harmonisée tirant profit des synergies conceptuelles. Chaque évaluation individuelle permettre
une revue en profondeur des facteurs contribuant à l’efficacité et l’institutionnalisation des processus
d’assurance qualité mis en œuvre à chaque étape du cycle de projet : à l’entrée, pendant la mise en
œuvre, et à la clôture. Par la suite, l’information sera synthétisée pour répondre à des questions plus
larges, y compris la mesure dans laquelle les processus d’assurance qualité de la Banque le long du
cycle de projet : (i) fonctionnent comme un système intégré et cohérent ; (ii) facilitent l’apprentissage
et l’amélioration continue des opérations ; et (iii) contribuent à la redevabilité et à l’efficacité du
développement. Enfin, l’approche harmonisée devrait améliorer l’efficience de la mise en œuvre, en
particulier via une mutualisation des échantillons, des parties prenantes et des outils de collecte de
données.
Cette évaluation plus large de l’assurance qualité le long du cycle de projet aura des
implications pour les autres évaluations planifiées pour finalisation en 2018, en particulier : (i)
le système intégré de sauvegardes, et (ii) l’auto-évaluation. L’évaluation de l’assurance qualité le
long du projet examinera le degré de conformité avec les sauvegardes environnementales et sociales
de la Banque pendant les phases de conception, supervision et clôture des projets. De plus, une revue
approfondie de la qualité à la clôture illustrera la mise en œuvre opérationnelle de l’auto-évaluation.
Les évaluations prévues portant sur le système intégré de sauvegardes et les processus d’auto-
évaluation examineront ensuite au-delà de l’analyse de niveau projet comment les politiques,
stratégies et processus idoines sont mis en œuvre au sein de la Banque, parmi d’autres questions de
haut niveau. La section 4 de cette note présente les périmètres prévus de chacune des évaluations.
2.0 Objectifs et justification de l’évaluation
Les objectifs de l’évaluation de l’assurance qualité le long du cycle de projet sont triples :
(i) Assurer un suivi concernant les défis connus de qualité du portefeuille de la Banque ;
(ii) Répondre à des questions plus larges portant sur le cycle de projet, en particulier la
contribution de la chaine d’assurance qualité à l’apprentissage et à l’efficacité du
développement ; et
(iii) Appuyer la mise en œuvre du MDPS et du Top 5, en apportant une vue indépendante
et en proposant des leçons.
3
2.1 Les défis de la qualité du portefeuille
L’évaluation de l’assurance qualité le long du cycle de projet assurera un suivi concernant les
défis connus pour assurer la qualité du portefeuille, en identifiant comment les processus
existant contribuent à l’efficacité des opérations des secteurs public et privé. Les problèmes de
qualité du portefeuille identifiés lors des revues précédentes constitueront une source d’information
clé pour guider la définition du périmètre, la conception, et la mise en œuvre de l’évaluation. Les
défis en question sont présentés plus en en détail ci-dessous.
L’évaluation globale des résultats de développement (EGRD) de 2016 d’IDEV a montré que la
conception des projets et la qualité de la supervision étaient des facteurs critiques pour l’atteinte
des résultats. Cependant l’EGRD n’était que la dernière d’une série de revues ayant identifié les
défis à la qualité le long du cycle de projet. Remontant au “Rapport de la Task Force sur la qualité
des projets” de 1994 (aussi connu comme le « Rapport Knox »), plusieurs revues de la qualité du
portefeuille de la Banque ont identifié des failles pendant les étapes critiques de conception, de mise
en œuvre, et de clôture. Des rapports produits par la suite jusqu’en 2013 ont montré qu’un grand
nombre des soucis identifies par le rapport Knox restait d’actualité et continuait à impacter la qualité
du portefeuille de la Banque. Les défis spécifiques identifiés dans cette période sont décrits dans le
Tableau 1.
Tableau 1. Défis observés
pour assurer la qualité du
portefeuille (1994-2013)
Etape du projet
Défis observés
Conception
Utilisation variable des cadres logiques
Absence de logique d’intervention claire
Mauvaise qualité des études économiques
Mauvaise qualité des indicateurs de performance et absence des données de
référence
Faible intégration des leçons apprises dans la conception
Consultation insuffisante des emprunteurs et des bénéficiaires
Evaluation inadéquate de la faisabilité et des capacités institutionnelles
Temps, ressources et compétences inadéquates consacrés au processus
d’évaluation
Emphase institutionnelle sur les approbations plutôt que sur la qualité de la
conception
Mise en œuvre
Fréquence de supervision et accent mis sur les projets à risque inadéquats
Utilisation variable des cadres logiques pour guider le processus de supervision
Temps, ressources et compétences inadéquates consacrés au processus de
supervision
Documentation variable de l’avancement de la mise en œuvre
Faible crédibilité des notations de l’avancement
Emphase institutionnelle sur le contrôle plutôt que sur la gestion de risques
proactive
Audits et contrôles de qualité variables pour la supervision
Faible suivi des recommandations
Flexibilité limitée des outils de supervision
Clôture
Faible niveau de production ponctuelle des rapports d’achèvement
Qualité inadéquate des indicateurs, données de référence et données collectées
pour rapporter des résultats
Evaluation inadéquate des taux de rentabilité économique
Faible qualité des leçons
Evaluation limité des risques et modalités nécessaires pour assurer la qualité à
la clôture
4
Malgré ces défis, les revues effectuées en 2009 et 2013 portant sur la qualité à l’entrée des
opérations du secteur public ont montré que la qualité à l’entrée s’était globalement améliorée
depuis 2005, en particulier suite à l’introduction de la revue de l’état de préparation. Cependant,
des défis continuent à être notés pour ce qui concerne certains des éléments de conception des projets
critiques pour assurer l’atteinte des résultats, en particulier : (i) la qualité des logiques d’interventions
et des cadres de résultats ; (ii) la disponibilité de données de référence ; (iii) l’analyse des risques, en
particulier concernant la capacité de mise en œuvre, et la définition d’actions d’atténuation
adéquates ; (iv) l’intégration des aspects pauvreté, genre et environnement ; et (v) l’utilisation
systématique des leçons pour informer la conception de nouveaux projets. Il est à noter qu’aucun
exercice similaire n’a été conduit pour évaluer la qualité à l’entrée des opérations du secteur privé.
Des rapports précédents ont montré que la gestion des risques environnementaux et sociaux
requière une attention particulière le long du cycle de projet. La catégorisation des projets et le
développement d’un plan de gestion environnementale et sociale (PGES) sont des éléments clés de
la conception. L’évaluation d’IDEV portant sur les politiques environnementales et les procédures
d’évaluation environnementale de la Banque produite en 2000 a mis en lumière la nécessité
d’améliorer le timing des catégorisations environnementales des projets, ainsi que la qualité générale
des PGES. Des défis importants ont également été identifiés pour ce qui concerne la supervision.
L’évaluation du secteur des transports produite en 2013 par IDEV a souligné l’importance des cadres
législatifs nationaux et de la capacité nationale pour la gestion des risques environnementaux et
sociaux et la mise en œuvre des PGES.
2.2 Tirer profit des synergies conceptuelles et ajouter de la valeur
Une approche harmonisée de mise en œuvre de l’évaluation de l’assurance qualité le long du
cycle de projet est à valeur ajoutée du fait des synergies conceptuelles et méthodologiques.
L’approche proposée est une conceptualisation des processus assurant la qualité à l’entrée, la qualité
de la supervision et la qualité à la clôture comme une chaine d’assurance qualité le long du cycle de
projet, chaque processus constituant un maillon. Le système intégré de sauvegardes, permettant
l’identification et la gestion des risques environnementaux et sociaux à chaque de projet, est intégré
le long de cette chaine (Graphique 1).
Des revues et évaluations précédentes ont montré que le long de la chaine d’assurance qualité,
un maillon faible peut compromettre l’intégrité de l’ensemble. Par exemple, des faiblesses l’étape
de conception, telles qu’une logique d’intervention peu solide ou une analyse de risques insuffisante,
peut impacter la capacité de la Banque à : (i) prendre en compte les risques de mise en œuvre de façon
proactive ; (ii) évaluer de façon crédible les résultats atteints ; et (iii) identifier les leçons. Le
graphique 1 ci-dessous illustre les différents types d’activités mise en œuvre dans le cadre de la chaine
d’assurance qualité pour assurer la qualité le long du cycle de projet.
5
Graphique 1. Activités dans le cadre de la chaine d’assurance qualité
Au-delà des interactions entre chaque processus individuel d’assurance qualité, l’ensemble se
combine en un « macro-processus » facilitant l’apprentissage sur la base de l’expérience. En
particulier, il est estimé que la chaine d’assurance qualité joue un rôle critique dans l’amélioration
continue du portefeuille de la Banque par la création de boucles de rétroaction. Pour ce qui concerne
l’apprentissage institutionnel, cette boucle de rétroaction est complète lorsque les leçons des
opérations passées sont intégrées dans la conception et la supervision des nouveaux projets,
augmentant la probabilité que les risques de mise en œuvre soient gérés de façon proactive et que les
effets de développement soient atteints. De plus l’apprentissage se produit également au travers de
boucle de « pro-action » lorsque les modalités de suivi et de gestion de risques identifiées lors de la
conception influence les activités de supervision. Les processus de rétroaction et pro-action sont
illustrés dans le graphique 2.
Par la mise en œuvre d’une évaluation globale de l’assurance qualité le long du cycle de projet,
IDEV tirera profit des synergies conceptuelles pour répondre à des questions fondamentales
portant sur la contribution des processus d’assurance qualité à l’efficacité de la Banque. Ces
questions plus larges incluent : (i) Est-ce que les processus formant la chaine d’assurance qualité
opèrent comme un système cohérent et intégré ? (ii) Comment ce système promeut-il l’apprentissage
au sein de la Banque, y compris le degré avec lequel les processus d’assurance qualité sont appuyés
par des pratiques et outils de gestion des connaissances ? Et (iii) Comment ce système contribue-t-il
à la pertinence, efficacité, efficience et durabilité des projets, y compris dans sa capacité à fournir des
« alertes précoces » concernant les défis de mise en œuvre.
6
Graphique 2. Processus de rétroaction et pro-action le long du cycle de projet
Le système intégré de sauvegardes de la Banque ajoute une dimension dans l’ensemble des
processus d’assurance qualité. L’évaluation de l’assurance qualité le long du cycle de projet
examinera dans quelle mesure les sauvegardes environnementales et sociales ont été intégrées dans
les processus d’assurance qualité à l’entrée, pendant la mise en œuvre et à la clôture. Cette analyse
alimentera l’évaluation du système intégré de sauvegardes de la Banque en déterminant le degré
d’adéquation au besoin, d’efficience et d’alignement aux bonnes pratiques de ce système, considérant
les évolutions du portefeuille de la Banque.
L’auto-évaluation complémente les processus d’assurance qualité le long du cycle de projet en
synthétisant les données de niveau projet pour analyser la performance aux niveaux pays et
sectoriel, et informer les décisions institutionnelles. Les processus d’auto-évaluation institutionnels
influencent la conception des nouveaux projets par la communication de priorités, influençant ainsi
la façon dont les projets sont conçus et les indicateurs de mesure utilisés. L’évaluation de l’assurance
qualité le long du cycle de projet appuiera l’évaluation de l’auto-évaluation en : (i) examinant les
processus de qualité à la clôture avec une approche harmonisée ; et (ii) en déterminant comment les
priorités institutionnelles, sectorielles et pays influencent la conception des nouveaux projets.
2.3 Ponctualité dans le cadre du MDPS et du Top 5
L’évaluation de l’assurance qualité le long du cycle de projet est particulièrement ponctuelle
dans le cadre du MDPS et du Top 5. Les changements institutionnels en cours dans le cadre du
MDPS offrent une opportunité : (i) d’analyser le statut actuel des processus d’assurance qualité le
long du cycle de projet ; et (ii) d’identifier comment ces processus peuvent être optimisées pour plus
d’efficience, une meilleure gestion de risques, et une augmentation de la probabilité d’atteinte de
résultats de développement durables dans les PMR. Cet exercice fournira une vue indépendante
complémentaire du travail en cours du TMT et de DAPEC, avec l’objectif ultime d’augmenter la
contribution de la chaine d’assurance qualité à l’apprentissage et à l’atteinte des résultats de
développement.
7
3.0 Comment IDEV mettra en œuvre l’évaluation ?
Les processus d’assurance qualité le long du cycle de projet seront couverts individuellement
par une évaluation complète. Chacune de ces évaluations fournira une analyse approfondie des
questions spécifiques à chaque processus, ainsi qu’une analyse du fonctionnement de chaque
processus dans son contexte. Deux évaluations complètes sont prévues, qualité à l’entrée et qualité
de la supervision. Ces évaluations, ainsi qu’une revue intermédiaire portant sur la qualité à la clôture
seront mises en œuvre par une même équipe d’évaluation.
Dans la mise en œuvre de ces évaluations, IDEV adoptera une approche harmonisée, tirant
profit des questions d’évaluations communes pour s’assurer d’une collecte efficiente des
informations nécessaires. Cette harmonisation permettra d’assurer : (i) que les questions communes
sont approchées de façon homogène dans un cadre commun ; (ii) que les liens potentiels entre les
processus soient explorés de façon systématique ; et (iii) que les synergies de mise en œuvre
concernant les échantillons, les parties prenantes et les outils de collectes de données soient identifiées
et mises à profit. Les thèmes transversaux pertinents seront intégrés dans la méthodologie pour
examiner leur prise en compte lors de la conception et lors de la mise en œuvre des projets.
Les évaluations individuelles seront rassemblées sous une évaluation globale unique de
l’assurance qualité le long du cycle de projet. Ce rapport « chapeau » sera guidé par un ensemble
distinct d’objectifs et des questions d’évaluation. Il ne constituera pas un résumé du contenu des
autres évaluations, mais analysera des questions institutionnelles plus larges portant sur la
contribution de la chaine d’assurance qualité à la conformité, l’apprentissage et l’efficacité du
développement. Ces questions plus larges seront identifiées lors du cadrage de l’évaluation, et affinée
par une revue documentaire et des consultations avec la Haute Direction et les membres du Conseil.
Les données collectées dans le cadre de l’évaluation de l’assurance qualité le long du cycle de
projet alimenteront les évaluations planifiées du système intégré de sauvegardes et de l’auto-
évaluation, illustrant comment ces processus sont intégrés dans le cycle de projet. Ces deux
évaluations examineront par ailleurs des questions spécifiques débordant du cycle de projet (Section
4.0).
4.0 Que produira IDEV ?
Les évaluations décrites plus haut sont actuellement dans la phase de cadrage. Il n’est pas encore
possible de fournir une information détaillée concernant les questions d’évaluations et la
méthodologie au-delà d’une définition préalable du périmètre, et de l’indication qu’une approche
harmonisée sera utilisée, y compris des questions, indicateurs et sources de preuve communs. IDEV
est à disposition pour fournir des informations plus à jour concernant l’approche et la mise en œuvre
de ces évaluations en temps voulu, si nécessaire.
Il est prévu qu’IDEV produise cinq rapports d’évaluations en relation avec les processus d’assurance
qualité en 2018 : (i) qualité à l’entrée, (ii) qualité de supervision, (iii) assurance qualité le long du
cycle de projet, (iv) système intégré de sauvegardes, et (v) système d’autoévaluation. L’évaluation
« chapeau » de l’assurance qualité le long du cycle de projet, ainsi que les évaluations de la qualité à
l’entrée et de la qualité de supervision sont prévues pour livraison au troisième trimestre de 2018. Les
évaluations du système intégré de sauvegardes, et du système d’autoévaluation seront ensuite
produites séparément au quatrième trimestre de 2018.
8
1. Evaluation de l’assurance qualité le long du cycle de projet
Cette évaluation examinera la cohérence, l’intégration, et l’efficacité de la chaine d’assurance qualité
le long du cycle de projet. Les questions initiales (qui pourront changer pendant le cadrage) portent
sur la mesure dans laquelle les processus d’assurance qualité de la Banque le long du cycle de projet :
(i) fonctionnent comme un système intégré et cohérent ; (ii) facilitent l’apprentissage et l’amélioration
continue des opérations ; et (iii) contribuent à la redevabilité et à l’efficacité du développement.
Cette évaluation sera informée par des briques évaluatives portant sur la qualité à l’entrée, la qualité
de la supervision et la qualité à la clôture, incluant la prise en compte des sauvegardes
environnementales et sociales à chaque étape. Ces évaluations seront mises en œuvre en utilisant un
cadre harmonisé pour déterminer le degré auquel les processus d’assurance qualité sont : (i) adéquats
pour leurs objectifs et alignés sur les bonnes pratiques ; (ii) efficaces dans l’amélioration de la qualité
des projets au fil du temps et dans l’augmentation de la probabilité d’atteinte des résultats de
développements ; (iii) mis en œuvre de façon efficiente, avec des intrants raisonnables au vu des
résultats atteints ; et (iv) institutionnalisés, dans le sens de mis en œuvre de façon systématique.
2. Evaluation du système intégré de sauvegardes
La Banque a mis à jour son système de sauvegardes en 2013 à la suite de consultations étendues.
L’évaluation proposée par IDEV du système intégré de sauvegardes (SIS) examinera la pertinence de
la conception, l’efficience du processus, et les preuves préliminaires de l’efficacité du nouveau
système dans l’atteinte des objectifs de sauvegarde de la Banque. Un accent sera mis sur : (i)
l’adéquation et l’alignement du SIS de la Banque par rapport aux comparateurs et aux bonnes
pratiques identifiées ; (ii) la pertinence du SIS et son adaptation au contexte africain et au portefeuille
actuel de la Banque ; (iii) les facteurs qui facilitent ou contraignent la mise en œuvre du système tel
que conçu ; et (iv) les preuves préliminaires de mise en œuvre et d’effets potentiels.
L’évaluation se focalisera sur les questions pertinentes touchant au portefeuille de la Banque, y
compris : (i) la gestion des risques environnements et sociaux dans les opérations impliquant des
intermédiaires financiers ; et (ii) les questions sociales relatives aux grands projets de construction y
compris les impacts de l’afflux de travailleurs sur les dynamiques sociales et de genre locales. Les
autres questions de focalisation seront identifiées lors de la phase de démarrage. Du fait de la période
courte depuis le renforcement du SIS, l’évaluation sera formative. Elle proposera au Conseil et à la
Direction des informations portant sur le fonctionnement du SIS à ce jour et identifiera les
changements possibles pour renforcer encore plus le système.
3. Evaluation des processus d’auto-évaluation de la Banque
Cette évaluation envisage l’auto-évaluation comme l’examen formel et écrit d’un projet, programme
ou politique par l’unité responsable de sa conception et/ou de sa mise en œuvre. L’évaluation
examinera la pertinence, efficacité, efficience et durabilité du système d’auto-évaluation de la
Banque, y compris dans quelles mesure ses composants fonctionnent ensemble comme un
« système ». The questions clés qui seront revues incluent : (i) l’environnement facilitateur de l’auto-
évaluation ; (ii) les outils et systèmes de collecte de données utilisés pour la mise en œuvre de l’auto-
évaluation ; et (iii) l’utilisation de données d’auto-évaluation pour la prise de décision.
9
L’évaluation du système d’auto-évaluation de la Banque utilisera les résultats de l’évaluation de
l’assurance qualité le long du cycle, pour examiner la mise en œuvre de l’auto-évaluation dans le
cadre du cycle de projet au travers de la supervision et de la clôture.
i Groupe de la Banque africaine de développement (2017) “Rapport de la quatorzième reconstitution générale des
ressources du Fonds africain de développement (FAD-14)” ADF/BD/WP/2017/14/Approval.
