Évaluation de l’assurance qualité tout au long du cycle de projet …idev.afdb.org/sites/default/files/documents/files/Quality Assurance... · et Najade Lindsay, Consultante Autres

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Octobre 2018

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Évaluation de l’assurance qualité tout au long du cycle

de projet du Groupe de la Banque africaine

de développement (2012–2017)

Rapport de synthèse

Octobre 2018

Les différents produits qui servent à atteindre les trois objectifs de l’évaluation indépendante

Évaluation thématique Évaluation groupée de projets

Évaluation de stratégie d’intégration

régionale

Validation et évaluation de projets

individuels (

secteur p

ublic)Évaluation d’impact

Validation et évaluation de projets

individuels (secteur privé)

Éval

uatio

n de

stra

tégi

e pa

ys

Synthèse d’évaluation

Évaluation institutionnelle

Éval

uatio

n se

ctor

ielle

Évaluation institutionnelle

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Octobre 2018

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Octobre 2018

Évaluation de l’assurance qualité tout au long du cycle

de projet du Groupe de la Banque africaine de

développement (2012–2017)

Rapport de synthèse

© 2018 Groupe de la Banque africaine de développement Tous droits réservés – Publié en Octobre 2018

Évaluation de l’assurance qualité tout au long du cycle de projet du Groupe de la Banque africaine de développement (2012–2017) – Rapport de synthèse Une évaluation institutionnelle IDEV, Octobre 2018

Exclusion de responsabilitéSauf indication contraire expresse, les constatations, interprétations et conclusions exprimées dans cette publication sont celles de ses divers auteurs et ne correspondent pas nécessairement aux vues de la Direction de la Banque africaine de développement (la « Banque ») et du Fonds africain de développement (le « Fonds »), de leurs Conseils d’administration, Conseils des gouverneurs ou des pays qu’ils représentent.

Le lecteur consulte cette publication à ses seuls risques. Le contenu de cette publication est présenté sans aucune sorte de garantie, ni expresse ni implicite, notamment en ce qui concerne la qualité marchande de l’information, son utilité à telle ou telle fin et la non-violation de droits de tierce-parties. En particulier, la Banque n’offre aucune garantie et ne fait aucune déclaration quant à l’exactitude, l’exhaustivité, la fiabilité ou le caractère « actualisé » des éléments du contenu. La Banque ne peut, en aucun cas, notamment en cas de négligence, être tenue pour responsable d’un préjudice ou dommage, d’une obligation ou d’une dépense dont on ferait valoir qu’ils sont consécutifs à l’utilisation de cette publication ou au recours à son contenu.

Cette publication peut contenir des avis, opinions et déclarations provenant de diverses sources d’information et fournisseurs de contenu. La Banque n’affirme ni ne se porte garante de l’exactitude, l’exhaustivité, la fiabilité ou le caractère « à jour » d’aucun d’entre eux ni d’aucun autre élément d’information provenant d’une source d’information quelconque ou d’un fournisseur de contenu, ni d’une autre personne ou entité quelle qu’elle soit. Le lecteur s’en sert à ses propres risques.

À propos de la BADLe Groupe de la Banque africaine de développement a pour objectif premier de faire reculer la pauvreté dans ses pays membres régionaux en contribuant à leur développement économique durable et à leur progrès social. À cet effet, il mobilise des ressources pour promouvoir l’investissement dans ces pays et leur fournit une assistance technique ainsi que des conseils sur les politiques à mettre en œuvre.

À propos de l’Évaluation Indépendante du Développement (IDEV)L’évaluation indépendante du développement a pour mission de renforcer l’efficacité des initiatives de développement de la Banque dans ses pays membres régionaux par l’exécution d’évaluations indépendantes et influentes et par des partenariats pour l’échange de connaissances.

Évaluation indépendante du développement (IDEV)Groupe de la Banque africaine de développementAvenue Joseph Anoma 01 BP 1387, Abidjan 01 Côte d’IvoireTél : +225 20 26 20 41Courriel : [email protected]

Conception graphique : CRÉON – www.creondesign.net

REMERCIEMENTS

Chef de projet Mónica Lomeña-Gelis

Membres de l’équipe Akua Arthur-Kissi Chargée d’évaluation senior; Erika MacLaughlin Chargée d’évaluation; Gilbert Onionkiton Adjimoti, Consultant juniorKpangni Arnaud Innocent Bledou, Consultant juniorArmand Eric Olaniran Yaï, Consultant junior

Consultants Lattanzio Spi italy, Charlotte Vaillant, Chef d’équipe

Pair réviseur interne Foday Turay

Pair réviseur externe Amnon Golan, Consultant indépendant

Groupe de référence interne de la Banque

Themba Bhebhe, Malek Bouzgarrou, Mbarack Diop, Justin Ecaat, Jalel El Faleh, Ousmane Fall, Kader Abdou Gueye, Helmi Hmaidi, Hussein Yusuf Iman, Penelope Jackson, Patience Kuruneri, Motselisi Lebesa, Samuel Ekue Mivedor, Simon Mizrahi, Jose J. Morte Molina, Armand Nzeyimana, Eva Joy Ruganzu, Richard Schiere, Mamadou Tangara, Thouraya Triki, Erwin Wiss

Chargées de la gestion des connaissances

Jacqueline Nyagahima,Chargée principale de gestion des connaissances et Najade Lindsay, Consultante

Autres appuis/contributions fournis par

Anasthasie Blandine Gomez Sokoba Assistante d’équipeEmillia Iwuagwu Yeye Agwajinma Assistante d’équipe

Remerciements spéciaux IDEV tient à exprimer sa gratitude à l’ensemble des chefs de projet, des bureaux pays, des représentants gouvernementaux et des autres parties prenantes qui ont été interrogés, ont répondu à l’enquête ou ont pris part aux entretiens. Reconnaissance spéciale de la Division conformité et sauvegarde de la BAD qui a partagé ses observations sur le contenu du système de garanties intégré

Chef de division Madhusoodhanan Mampuzhasseril (Par intérim)

Évaluateur général Rakesh Nangia (retraité) et Karen Rot-Münstermann (par intérim)

Sigles et abréviations vGlossaire viRésumé analytique 1Réponse de la Direction 11

Introduction 29

Constatations de l’évaluation 33Pertinence du cadre actuel de contrôle de la qualité de la Banque 33Niveau de conformité au cadre actuel d’AQ 38Facteurs clés ayant facilité ou entravé la mise en œuvre des processus d’AQ 43Efficacité du cadre de contrôle de la qualité 55

Conclusions et recommandations 65Conclusions 65Recommandations 68

Annexes 73

Table des matières

Table des matières

Liste des figuresFigure 1 Processus de rétroaction et de « préparation à l’exécution » dans le cycle de projet 62

Liste des tableauxTableau 1 Questions d’évaluation 31Tableau 2 Niveau de conformité aux dimensions clés de la supervision de la Banque 41Tableau 3 Candeur des rapports de supervision en tant qu’indicateur indirect

de la qualité de la supervision 43

Liste des encadrésEncadré 1 Les plus importants prédicteurs, à l’entrée, de l’atteinte des résultats

des projets d’investissement public et leur utilisation dans le système actuel d’AQ 34Encadré 2 Pratiques optimales aux premiers stades de la mise en œuvre 40Encadré 3 Effets des procédures institutionnelles des PMR relatives à l’acquisition des terres

et à la réinstallation sur le respect des délais de mise en œuvre des projets d’infrastructures financés par la Banque 46

vSigles et abréviations

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Sigles et abréviations

ADOA Cadre d’Évaluation des Résultats de l’Additionnalité et du Développement

AQ Assurance Qualité

BAD Groupe de la Banque Africaine de Développement

BID Banque Interaméricaine de Développement

CEP Cellule d’Exécution de Projet

E&A Eau et Assainissement

EGRD Évaluation Globale des Résultats en matière de Développement

FAD Fonds Africain de Développement

FIDA Fonds International de Développement Agricole

IDEV Évaluation Indépendante du Développement

DBDM Modèle de Développement et de Prestation de Services

NBP Norme de Bonne Pratique

OAR Opération d’Appui aux Réformes

ONS Opération Non Souveraine

ORQR Ex Département des Résultats et du Contrôle de la Qualité, BAD

PAI Plan d’Appui Institutionnel

PMR Pays Membre Régional

PAP Personne Affectée par le Projet

QàE Qualité à l’Entrée

RAP Rapport d’Achèvement de Projet

REE Rapport sur l’Etat d’avancement de l’Exécution

REP Rapport d’Évaluation de Projet

RSE Rapport de Supervision Elargi

SES Sauvegarde Environnementale et Sociale

SFI Société Financière Internationale

SNOQ Département du Secrétariat des Opérations et Contrôle qualité, BAD

SNSC Département de la Sauvegarde et de la Conformité, BAD

SSI Système de Sauvegardes Intégré

vi Évaluation de l’assurance qualité tout au long du cycle de projet du Groupe de la Banque africaine de développement (2012–2017) – Rapport de synthèse

Glossaire

Évaluabilité Pour les opérations du secteur public, l’évaluabilité est définie comme étant : i) la mesure dans laquelle la conception d’une intervention et le ciblage des bénéficiaires sont fondés sur des preuves et ii) la clarté et le réalisme de la logique d’intervention compte tenu de la nature du défi du développement et la portée de l’intervention. Pour les opérations du secteur privé, l’évaluabilité est définie comme étant, outre les deux dimensions précédentes, iii) une description factuelle du défi du développement et/ou de la défaillance du marché à traiter, et iv) de la qualité du cadre de résultats, ainsi que des arrangements de S&E.

Préparation à la mise en œuvre Dans la présente évaluation, c'est la mesure dans laquelle différentes exigences de mise en œuvre sont finalisées avant l'approbation du projet dont l’absence pourrait contribuer aux retards de démarrage. Il comprend des aspects tels que i) la création et la dotation en personnel de l'unité d'exécution du projet, ii) l'identification du financement de contrepartie dans le budget du gouvernement, iii) la disponibilité des plans de passation des marchés pour la première année d'exécution, iv) les dispositions visant à assurer l'identification et la gestion des risques environnementaux et sociaux du projet, et v) la disponibilité d'études de faisabilité ou d'ingénierie.

Qualité à l'entrée (QàE) La Banque n’a pas de définition standard de la qualité du projet à l’entrée. Dans le contexte de cette évaluation, la QàE est définie comme l’état de préparation qui rend un projet susceptible i) d’être mis en œuvre efficacement et ii) susceptible d’atteindre les résultats de développement attendus. Dans le cas d’opérations non souveraines, la qualité à l’entrée est également exprimée en termes de probabilité d’une opération d’être remboursée conformément aux conditions convenues.

Qualité de la supervision (QoS) Dans le contexte de cette évaluation, la QoS au niveau du projet est considérée comme la mesure dans laquelle la Banque i) identifie et résout de manière proactive les menaces pesant sur la mise en œuvre effective ; ii) rend compte du respect des règles et procédures et de l'atteinte des résultats de développement ; et iii) enregistre les enseignements tirés de la mise en œuvre du projet.

viiGlossaire

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Qualité à la clôture Dans cette évaluation, la clôture ou la sortie inclut les activités clés que la Banque exécute pour assurer la durabilité des résultats du projet après la clôture de toutes les activités physiques et financières du projet et pour améliorer les opérations futures. Cela implique la préparation et l’exécution des activités de clôture du projet et la production en temps voulu d’un rapport d’auto-évaluation d’achèvement du projet, mettant l’accent sur les résultats de développement et la collecte d’expériences et d’enseignements pour éclairer les nouveaux programmes.

Les Sauvegardes Environnementales et Sociales (SES)

Les Sauvegardes Environnementales et Sociales de la Banque visent à promouvoir la durabilité des résultats des projets en i) évitant les impacts négatifs des projets sur l’environnement et les personnes affectées par des opérations financées par la Banque, tout en maximisant les avantages potentiels en termes de développement, et ii) en minimisant, atténuant et/ou compensant les impacts négatifs sur l’environnement et les personnes affectées lorsqu’il n’est pas possible de l’éviter; et iii) aider les emprunteurs/clients à renforcer leurs systèmes de garanties pour renforcer leurs capacités de gestion des risques environnementaux et sociaux. En décembre 2013, la Banque a approuvé un nouveau système de sauvegardes intégré (SSI), s’appuyant sur les précédentes politiques de sauvegardes relatives à la réinstallation involontaire (2003) et à l’environnement (2004), ainsi qu’à d’autres politiques et stratégies transversales.

Théorie du changement La théorie du changement explique la manière dont les activités sont censées produire une série de résultats qui contribuent à atteindre les objectifs et impacts finaux attendus. Il décrit l’ensemble des hypothèses qui expliquent à la fois les étapes menant à l’objectif d’intérêt à long terme et les liens entre les activités et les résultats qui se produisent à chaque étape du processus.

Phot

o: ©

BAD

1Résumé analytique

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Résumé analytique

Introduction

Le présent rapport résume les constatations, les conclusions et les recommandations de l’évaluation indépendante de l’assurance qualité (AQ) tout au long du cycle de projet, pour les opérations du secteur public et du secteur privé du Groupe de la Banque africaine de développement (la Banque) sur la période 2012–2017. Il s’inspire des évaluations indépendantes de la qualité à l’entrée ainsi que de la qualité de la supervision et à la sortie. Il analyse aussi les processus de l’AQ pour s’assurer de la conformité aux sauvegardes environnementales et sociales (SES) de la Banque. L’évaluation porte sur l’ensemble des opérations dont le montant était supérieur à 1 million d’UC à l’exception des opérations et dons d’urgence et de prise de participation.

L’Assurance Qualité (AQ) au niveau des projets est l’un des plus importants facteurs à l’origine de l’impact sur le développement. Le « cadre d’assurance de la qualité de la Banque » est conçu comme une série de revues qu’effectue l’institution pour assurer la qualité du portefeuille à chaque étape du cycle du projet. Les appréciations et évaluations institutionnelles précédentes ont montré que l’existence d’un maillon faible le long de la chaîne d’AQ peut avoir une incidence sur l’intégrité de l’ensemble. L’évaluation répond aux défis persistants observés au fil des ans en ce qui concerne la qualité à l’entrée et la qualité de la supervision des opérations de la Banque.

La présente évaluation vient particulièrement à point nommé, compte tenu des initiatives en cours visant à réformer les processus institutionnels de la Banque. Les constatations de l’évaluation devraient éclairer la revue à mi-parcours du FAD-14. L’évaluation porte sur la pertinence, l’efficience, l’efficacité et

l’institutionnalisation du cadre d’AQ de la Banque tout au long du cycle de projet. Ce rapport de synthèse aborde quatre grandes questions institutionnelles qui servent à articuler les résultats, à savoir :

❙ Si les différents processus d’AQ sont adaptés à leur finalité et fonctionnent comme un système cohérent et efficace ;

❙ Quel est le niveau de conformité aux normes d’assurance qualité existantes de la Banque ;

❙ Quels sont les facteurs qui facilitent ou entravent l’application du cadre tel que conçu ;

❙ Dans quelle mesure le cadre d’AQ contribue-t-il à la gestion des risques, à la réalisation des résultats de développement; et à l’apprentissage organisationnel.

Constatations de l’évaluation

La Banque a récemment entreprise des réformes relatives à l’assurance qualité et à l’efficacité du développement afin d’améliorer la qualité du projet et la probabilité d’obtenir des résultats. L’évaluation a jugé l’orientation prise par ces réformes comme étant globalement positive. Néanmoins, l’évaluation a identifié certaines lacunes par rapport aux meilleures pratiques, tant avant l’approbation du Conseil d’administration que pendant la mise en œuvre et la clôture des projets. Il a également constaté des difficultés pour respecter les procédures existantes et proposé des recommandations pour renforcer le système. L’évaluation présente aussi des recommandations pour renforcer les principaux facteurs internes et externes qui interagissent avec le système d’assurance qualité de la Banque.

2 Évaluation de l’assurance qualité tout au long du cycle de projet du Groupe de la Banque africaine de développement (2012–2017) – Rapport de synthèse

Le cadre d’assurance qualité de la Banque est-il adapté à ses objectifs et aux meilleures pratiques ?

Le processus de préparation et d’approbation des projets de la Banque n’établit pas de distinction entre les projets en fonction du risque, ce qui est susceptible d’avoir des répercussions sur l’affectation des ressources. La Banque établit une distinction entre les projets en fonction du risque uniquement au stade de l’acceptation finale, où les opérations importantes ou à risque élevé doivent être examinées et approuvées par le Comité des opérations. Les institutions de référence d’autre part ont établi un système différentié permettant d’approuver les interventions à risques élevés en réduisant le nombres revues pour les opérations de moindre risque.

Le cadre actuel d’AQ de la Banque comporte des lacunes dans les dimensions clés identifiées comme meilleures pratiques pour assurer l’efficacité des processus d’AQ, à savoir : indépendance, contestabilité et vérification. Contrairement à la plupart des comparateurs, la Banque n’a pas de groupe indépendant qui procède à un examen critique et fournit des commentaires et des conseils sur la qualité des projets avant leur approbation. En plus, il n’existe pas de directives claires pour assurer une large participation des différentes parties de l’organisation afin d’assurer la qualité des opérations, y compris celles qui ne sont pas impliquées dans la préparation d’un projet donné. Tant pour les opérations souveraines que non souveraines, la Banque n’a pas de moyen systématique de vérifier que les informations en retour sont incorporées ou traitées de manière adéquate. Le contrôle de la qualité des Rapports sur l’état d’avancement de l’exécution révèle des lacunes dans l’examen et la validation par les responsables de secteur.

Le système actuel d’AQ de la Banque ne dispose pas de systèmes de données intégrés tout au

long du cycle de projet, ce qui limite la mesure dans laquelle ces données peuvent être utilisées pour éclairer les décisions stratégiques. Les bonnes pratiques exigent que les processus d’AQ de projet fonctionnent de manière intégrée, pour faire en sorte que les informations générées à chaque étape soient transmises aux étapes suivantes et guident les nouvelles opérations.

Les outils d’assurance qualité à l’entrée des opérations du secteur public ne capturent pas suffisamment les dimensions clé de qualité mises en relief par le personnel de la Banque, les institutions de référence et la revue documentaire : i) évaluabilité, ii) analyse économique, iii) état de préparation à la mise en œuvre et iv) gestion des risques. Ces dimensions ont été utilisées pour créer un outil de norme de meilleure pratique (NPO) et pour identifier un seuil factuel à partir duquel les projets ont une probabilité de 0,65 pour atteindre les résultats escomptés. L’évaluation a révélé qu’un score composite d’évaluabilité et d’état de mise en œuvre constituait un prédicteur significatif de la performance des projets d’investissement public. Cependant, ces facteurs sont actuellement agrégés à travers une moyenne avec les autres dimensions dans les outils existants de la Banque. Par conséquent, les outils de qualité à l’entrée existants pour les opérations du secteur public ne ciblent pas suffisamment les facteurs permettant de prédire l’étendue de la réalisation des résultats du projet.

Les pratiques de la Banque en matière de sélection et d’évaluation des opérations du secteur privé sont en harmonie avec celles des institutions de référence. D’autres organisations mettent cependant de plus en plus l’accent sur l’évaluabilité des projets. Le cadre de gestion du risque de crédit existant de la Banque est pertinent, de sorte que le nombre de risques non atténués constitue un prédicteur important des résultats négatifs des projets.

Les politiques et directives de supervision sont considérées comme pertinentes, mais


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

quelques ajustements supplémentaires sont nécessaires. Les réformes récentes ont amélioré l’alignement du cadre d’assurance qualité de la Banque sur les comparateurs. La décentralisation de la Banque pourrait nécessiter d’autres directives et ajustements pour assurer une compréhension commune des nouveaux rôles et responsabilités. En outre, il serait souhaitable d’adapter certains outils de supervision à différents types d’opérations de la Banque, en particulier les opérations multinationales et multidonateurs et les opérations dans des situations de fragilité, comme le font déjà les comparateurs.

L’approche globale de la Banque en matière de supervision des projets du secteur public n’est pas suffisamment proactive, malgré des avancées significatives dans le suivi du portefeuille. Les outils d’assurance qualité récents, tels que les revues Portfolio Flashlight et Portfolio Delivery Dashboard, permettent de générer des alertes et de fournir des informations à la direction sur les progrès du portefeuille. Néanmoins, la fréquence de supervision des projets n’augmente que lorsque les projets sont identifiés comme problématiques.

Le département du secteur privé de la Banque adopte une approche de la supervision fondée sur les risques, qui est jugée pertinente par rapport à son contexte et bien alignée sur les comparateurs. Outre les supervisions de projet régulières effectuées par les agents de portefeuille et une surveillance étroite par l’équipe des risques de crédit, l’unité Opérations spéciales fournit des solutions aux opérations les plus en difficulté. Néanmoins, les points de décision et le calendrier en cas de projets problématiques pourraient être mieux définis.

Tant pour les opérations du secteur public que privé, les efforts de la Banque dans la gestion des risques environnementaux et sociaux sont encore fortement concentrés avant l’approbation des projets. La

fonction d’appui à la SES à la Banque a été considérablement sous-financée et les niveaux de dotation en personnel sont inférieurs à ceux des organisations de comparaison, qui disposent d’équipes plus importantes spécialisées dans les opérations des secteurs public et privé. Les comparateurs augmentent leurs ressources pour surveiller la mise en œuvre effective des mesures d’atténuation des SE convenues avec l’emprunteur.

Quel est le niveau de conformité aux normes d’assurance qualité existantes de la Banque ?

En ce qui concerne le respect des procédures en vigueur, les descriptifs de projet (project briefs) ne sont pas complétés de manière systématique, ce qui a des conséquences sur l’allocation des ressources pour la préparation du projet. Il s’agit d’une étape clé dans l’identification des projets du secteur public, ainsi que dans l’évaluation du temps et des ressources nécessaires pour mener les projets à maturité et pour définir des repères institutionnels pour la préparation des projets. Les comparateurs utilisent des outils tels que les coefficients de préparation du budget (Banque Mondiale) pour identifier les besoins en ressources pour la préparation de projet en fonction de caractéristiques clés et de la gestion de pipeline.

L’évaluation a identifié certains problèmes de conformité lors de la mise en œuvre, mais aussi des améliorations dans certaines dimensions au fil du temps. La fréquence et la composition idéales des équipes de missions se sont révélées difficiles compte tenu de l’allocation du personnel actuelle. Cependant, l’évaluation a permis d’identifier un accroissement dans la fréquence de supervision des projets problématiques. Les examens à mi-parcours ne sont pas effectués systématiquement pour traiter les projets nécessitant des modifications majeures. D’autres organisations ont créé


des incitations pour assouplir les conditions d’annulation et de restructuration de projets. Des problèmes de ponctualité ont été identifiés lors de l’élaboration et de la validation des rapports d’achèvement. Il convient toutefois de souligner les efforts récents de la Direction visant à éliminer l’accumulation de Rapports d’achèvement de projet (RAP) en retard.

Des efforts supplémentaires doivent être déployés pour veiller à ce que le nouveau système de sauvegardes intégré (SSI) soit pleinement appliqué aux Operations d’Appui aux Réformes (OAR). Les impacts environnementaux et sociaux stratégiques pouvant découlé des réformes des OARs ne sont pas entièrement identifiés à l’évaluation, comme prévu par la SSI approuvée en 2013. Il est supposé que les OARs n’ont aucun impact environnemental ou social négatif (projets de catégorie 3). Cela représente une occasion manquée d’aider les pays à passer aux chemins de la croissance verte par le biais de réformes sectorielles.

Quels facteurs facilitent ou limitent l’application du cadre tel que conçu?

La Banque ne prend pas explicitement en compte les facteurs contextuels externes qui influencent la qualité à l’entrée et les progrès de la mise en œuvre au cours de la préparation et de l’évaluation des projets. Le cadre d’assurance qualité de la Banque reconnaît que la responsabilité de la qualité de la conception et de la mise en œuvre incombe principalement à l’emprunteur, tandis que la BAD a un rôle de soutien. L’évaluation a révélé que la force du système de gestion des investissements publics des Pays Membres Régionaux et les capacités des emprunteurs (unités d’exécution du projet et autres clients) influaient sur la performance du projet. L’évaluation limitée de ces facteurs compromet la capacité de la Banque à identifier la nécessité de fournir un appui supplémentaire

à la préparation et à la mise en œuvre du projet. Le Fonds de préparation de projets (PPF) et les fonds d’assistance technique existants ne sont pas utilisés de manière stratégique pour mener à bien les études clés et constituer le réservoir de projets publics et privé de la Banque. Les comparateurs sont en train d’élargir l’utilisation des facilités de préparation et d’assouplir les dispositions relatives au remboursement.

En termes de capacité interne, l’évaluation a révélé des affectations incohérentes du personnel aux opérations, ainsi qu’une formation et un soutien non standardisés afin de permettre au personnel de jouer son rôle. La Banque présente un ratio de projets par gestionnaire de tâches élevé par rapport à des organisations similaires, avec une répartition inégale selon les secteurs et les régions. Il manque un programme d’induction complet et du conseil pour soutenir le personnel.

Le nombre du personnel de l’AQ soutenant les projets, tels que des spécialistes des risques et du droit, l’équipe d’ADOA, le personnel fiduciaire, des experts SES, n’est pas à la mesure de la croissance du portefeuille. Près de la moitié des projets de l’échantillon d’évaluation ont été approuvés au quatrième trimestre de chaque année. On a constaté qu’ils présentaient une qualité inférieure à l’entrée et une probabilité réduite d’atteindre les résultats du projet. Le regroupement des approbations et des missions de supervision sur le terrain en fin d’année alourdit le personnel.

L’articulation des responsabilités pour la supervision du projet entre les membres de l’équipe n’est pas tout à fait claire. Les chefs de projet sont responsables de la supervision du projet, mais le soutien reçu des autres membres du personnel de la Banque pourrait être amélioré afin de garantir que les membres de l’équipe restent responsables tout au long du cycle du projet. Des comparateurs tels que le FIDA et la Banque mondiale ont mis en place des initiatives visant à renforcer


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

l’appui fourni aux chefs de projet chargés de projets complexes et risqués afin d’assurer un suivi et une résolution des problèmes fondés sur les risques.

Presque toutes les parties prenantes ont souligné l’importance des incitations pour garantir la qualité des projets, en particulier en ce qui concerne l’obtention de résultats. Le fait que les indicateurs de performance clés (KPI) soient liés aux approbations et aux décaissements crée des incitations déséquilibrées pour le personnel de la Banque, favorisant les approbations par rapport aux conceptions de qualité, et les décaissements par rapport à la réalisation des objectifs de développement et la capture des enseignements clés.

Dans quelle mesure le cadre d’AQ contribue-t-il à la gestion des risques du projet, à l’atteinte des résultats de développement et à la promotion de l’apprentissage au sein de la Banque ?

Il existe un écart significatif par rapport aux meilleures pratiques en matière de gestion des risques pour les opérations du secteur public. Les principales faiblesses à l’entrée sont liées à la hiérarchisation des risques et à l’identification de mécanismes permettant de surveiller, réévaluer et prendre les mesures requises si certains risques se concrétisent. Il est encore possible d’améliorer le traitement efficace des problèmes d’exécution des projets du secteur public en temps réel. De même, la plupart des RAP de l’échantillon ont identifié des risques pour la durabilité, mais n’ont pas fourni d’informations suffisantes sur les mesures d’atténuation prises.

La qualité des projets d’investissement et des OAR avant l’approbation n’a pas changé de manière significative en 2013–2017, lors de l’application de l’outil de meilleures pratiques IDEV. Toutefois, le maintien du même niveau de qualité de conception peut être considéré comme un bon résultat compte tenu des circonstances extraordinaires qu’a connues la Banque au cours de la période d’évaluation. En

outre, environ 50 % des projets approuvés chaque année ont atteint le seuil des meilleures pratiques d’IDEV en matière de qualité à l’entrée.

Les opérations du secteur public ont montré certaines améliorations dans la capture des résultats, mais les mécanismes permettant d’assurer des rapports crédibles doivent être renforcés. L’évaluation a révélé quelques bonnes pratiques parmi les projets de la Banque pour renforcer les capacités des emprunteurs en matière de suivi des projets. Des efforts supplémentaires sont toutefois nécessaires pour systématiser cette pratique. Les données d’achèvement limitées des échantillons de RAP validés montrent que l’auto-évaluation à la sortie des projets de la Banque était globalement satisfaisante pour 63 % des projets en 2014 et 73 % en 2015. De même, le niveau de déconnexion entre les notations d’auto-évaluation et les validations indépendantes se sont améliorés au cours de ces années, soit 22,5 % et 14 % (bien que cela soit au dessus de l’objectif d’assurance qualité de la Banque de 10 %).

Les Rapports d’Achèvement de Projet ne remplissent pas encore pleinement leur fonction d’enregistrement des leçons apprises. Cette constatation fait écho à un examen des RAP récemment validés, qui a montré un taux de rejet accru par les validations d’IDEV en 2014–2015 des enseignements tirés.

Selon la revue des documents d’évaluation et de supervision des projets de la Banque, la gestion des risques liés aux opérations du secteur privé est jugée faible à l’entrée et à la mise en œuvre. La plupart des 50 Opérations Non Souveraines examinées présentaient au moins un risque de crédit qui n’avait pas été traité au moment de l’approbation ou pour lequel aucune condition préalable pertinente pour la signature ou le décaissement n’avait été proposée. Des comparateurs, tels que IFC et IDB Invest, disposent désormais d’équipes de gouvernance d’entreprise chargées de résoudre ces problèmes de manière proactive. La plupart des recommandations des précédentes missions de supervision sur le terrain


n’étaient pas traitées dans les délais impartis, selon la revue des projets.

Les opérations du secteur privé ont été jugées moins évaluables que les projets d’investissement et les OAR. Les faiblesses identifiées suggèrent que, même si l’impact potentiel d’un projet sur le développement est identifié, les ONS ne sont pas conçues pour mesurer de manière crédible et exhaustive leurs résultats potentiels en matière de développement. L’évaluation a également révélé un faible alignement entre la logique de développement du projet, l’ADOA et le cadre logique, suggérant une hiérarchisation limitée des objectifs de développement. L’évaluation a également révélé un faible alignement entre la logique de développement du projet, l’ADOA et le cadre logique, suggérant une hiérarchisation limitée des objectifs de développement.

Pour les opérations du secteur privé, les capacités de suivi et d’évaluation (S&E) et de reporting des clients doivent être renforcées, en particulier pour les projets du secteur financier. L’interface avec les clients n’a pas été idéale dans de nombreux projets, en particulier pour aider les clients à mieux rapporter sur les résultats. Les rapports de supervision sont excessivement axés sur les questions administratives et fiduciaires, avec une moindre attention portée aux résultats de développement. La période de maturité des opérations du secteur privé s’est avérée déterminante pour l’échéancier de préparation du rapport d’achèvement (XSR) afin de pouvoir saisir les objectifs de développement.

L’évaluation a révélé un manque d’incitations pour que les ONS évaluent de manière optimale et tirent les enseignements de la contribution de la Banque au développement du secteur privé. Une fois l’évaluation acceptable de l’impact potentiel sur le développement, il n’y a plus guère d’incitation à enrichir l’argument du développement et à mieux articuler la contribution d’un projet à des impacts plus stratégiques du développement du secteur privé. En outre, la Banque ne dispose pas d’une équipe dédiée pour assurer le suivi des progrès des objectifs de développement.

Recommandations

Recommandation 1 – Processus de revue de l’assurance qualité : accroître l’efficacité et l’efficience du processus de revue de la qualité :

❙ En trouvant des « voies » d’approbation qui permettent d’établir une distinction entre les opérations en fonction du risque ;

❙ En réduisant le nombre d’étapes séquentielles au profit d’une réunion unique au cours de laquelle toutes les contributions à l’AQ sont examinées avant l’approbation du projet

❙ En fournissant aux chefs de projet un appui plus systématique en matière d’amélioration de la qualité, en ce qui concerne particulièrement les projets qui ne répondent pas aux normes de qualité ;

❙ En déterminant et en allouant les ressources nécessaires le long de l’« écosystème » de préparation et de supervision pour appuyer l’efficacité des processus de revue.

Recommandation 2 – Développement des activités : accroître l’utilisation des mécanismes d’appui à la préparation des projets pour promouvoir la qualité à l’entrée (QàE) des projets :

❙ En veillant à ce que le personnel soit sensibilisé et encouragé à utiliser ces fonds pour appuyer l’identification et la mise en œuvre du programme opérationnel indicatif, en ce qui concerne notamment les études économiques et sectorielles ;

❙ En augmentant le total des fonds et l’allocation maximale du Mécanisme de financement de la préparation des projets, le Fonds d’assistance technique en faveur des pays à revenu intermédiaire et d’autres sources de fonds ;

❙ En diversifiant l’utilisation approuvée des mécanismes de préparation afin de réduire


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

les coûts de transaction et de desserrer les contraintes systémiques à la préparation des projets.

Recommandation 3 – Planification et budgétisation : renforcer le programme opérationnel indicatif de la Banque et l’allocation des ressources à la préparation et à la supervision des projets :

❙ En assurant l’application de la fiche de projet et en améliorant le contenu, notamment en établissant des critères clairs pour l’intégration des projets dans la réserve de préparation et pour l’allocation des ressources (temps et budget) à la préparation ;

❙ En établissant un système intégré et automatisé d’information de gestion tout au long du cycle de projet en vue de favoriser la responsabilité et d’élargir l’accès aux données pour éclairer les décisions stratégiques.

Recommandation 4 – Revue des outils à l’entrée : améliorer la pertinence et l’efficacité de la revue de l’état de préparation (REP) et de la revue par les pairs :

❙ En ajustant le contenu de la REP pour tenir compte de l’évaluabilité, de l’analyse économique, de l’état de préparation à la mise en œuvre et de la gestion des risques ;

❙ En accroissant l’indépendance de la REP et de la revue par les pairs, en chargeant une unité « indépendante » de coordonner les deux processus ;

❙ En élaborant pour les pairs évaluateurs techniques des termes de référence détaillés et des critères de sélection précis.

Recommandation 5 – Qualité des ONS : définir un cadre pour le renforcement de l’évaluabilité des opérations non souveraines :

❙ En évaluant l’évaluabilité des ONS en plus de leurs résultats de développement potentiels,

grâce notamment à l’identification d’une logique d’intervention claire et justifiée et de mesures de performance crédibles ;

❙ En trouvant un mécanisme d’amélioration de la qualité pour renforcer la logique de développement et d’intervention des ONS, en ce qui concerne particulièrement les projets dont l’évaluabilité est faible.

Recommandation 6 – Risque de crédit des opérations non souveraines : définir un cadre pour le renforcement de l’évaluabilité des opérations non souveraines :

❙ En mettant en place un filtre d’état de préparation pour le financement de projets et les prêts aux entreprises, pour donner des conseils sur les bonnes pratiques aux chargés de l’investissement et éclairer le processus de revue ;

❙ En renforçant le rôle que jouent les chargés du risque de crédit pour s’assurer de la prise en compte adéquate des risques clés et de l’application des mesures de gestion de ces derniers dans les accords de prêt.

Recommandation 7 – Risque de gouvernance institutionnelle des ONS : mettre davantage l’accent sur les risques liés à la gouvernance institutionnelle dans les opérations non souveraines :

❙ En renouant le dialogue avec le groupe de travail des institutions de financement du développement sur la gouvernance institutionnelle et en dispensant aux chargés de l’investissement une formation sur les questions de gouvernance institutionnelle ;

❙ En identifiant des fonds d’assistance technique consacrés aux questions de gouvernance institutionnelle des ONS, en ce qui concerne particulièrement les opérations auxquelles participent des banques de rang inférieur ;

❙ En exploitant plus systématiquement l’assistance technique pour atténuer les


risques liés à la gouvernance institutionnelle avant le décaissement d’un prêt et en suivant la performance sur la base des changements de comportement.

Recommandation 8 – État de préparation de la contrepartie : améliorer l’état de préparation des PMR et renforcer leurs capacités en matière de gestion des investissements publics :

❙ En décelant les déficits de capacité des PMR lors de l’identification des projets, et en prévoyant des mécanismes qui permettent de fournir au besoin un appui supplémentaire tout au long du cycle de projet ;

❙ En identifiant les pays où l’état de préparation des contreparties constitue un obstacle constant à la conception et à la mise en œuvre des projets, et en offrant des programmes d’appui pour desserrer ces contraintes et compléter l’élaboration du programme opérationnel indicatif.

Recommandation 9 – Gestion proactive de projet : améliorer la gestion des risques et la performance du projet :

❙ En assurant l’alignement de la supervision des projets sur le suivi du portefeuille, afin de fournir un appui approprié aux projets à problèmes et de relever les défis liés à la mise en œuvre et à l’atteinte des résultats des opérations ;

❙ En ce qui concerne les opérations du secteur public, en promouvant une approche proactive de la supervision des projets en fonction du type de projet et de l’exposition aux risques établie au stade préalable à la mise en œuvre ;

❙ Pour ce qui est des opérations du secteur privé en particulier, en renforçant la supervision du projet grâce à des missions spéciales visant à suivre l’établissement de rapports sur les résultats tout au long du cycle de vie du projet ;

❙ En passant en revue les RAP dans le cadre de réunions officielles de validation, afin de créer un espace pour la contestabilité et une formulation claire des enseignements.

Recommandation 10 – Conformité aux règles de la Banque : assurer le respect des normes de qualité en matière de supervision et d’exécution :

❙ En renforçant les mécanismes d’AQ de l’établissement de rapports de supervision et de suivi des projets ;

❙ En établissant des orientations claires et des critères de performance précis pour la supervision des projets, en ce qui concerne notamment la différenciation par type d’opération, par pays et par profil de risque ;

❙ En effectuant des missions sur le terrain sélectives après l’achèvement des travaux, pour renforcer l’ajout de valeur des notes de validation d’IDEV et la crédibilité des résultats ;

❙ En établissant des orientations claires et des critères de performance précis pour les pratiques de suivi et de supervision aux bureaux régionaux de la Banque et dans l’ensemble des bureaux pays respectifs ;

❙ En adoptant une planification précoce de l’achèvement du projet lors de la dernière mission de supervision, pour assurer l’affectation de ressources appropriées et l’amélioration de la performance ;

❙ En rationalisant les outils d’établissement de rapports de supervision, afin de réduire le chevauchement du contenu et le nombre de rapports requis, et d’assurer une différenciation par type d’opération pour maximiser l’utilité ;

❙ En consolidant les instruments de supervision du projet pour améliorer l’établissement de rapports


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

sur les résultats de développement grâce à l’organisation de missions spéciales pendant le cycle de vie du projet.

Recommandation 11 – Dotation en personnel et formation : renforcer la capacité du personnel à gérer efficacement les projets :

❙ En mettant en place un programme de formation complet et obligatoire pour tous les chefs de projet ;

❙ En établissant des points de référence pour le nombre de projets par gestionnaire de tâches et en répartissant les ressources de façon appropriée. Ces points de référence devraient tenir compte des différentes charges de travail associées à la préparation et à la supervision des opérations.

Recommandation 12 – Incitations : renforcer les incitations à la qualité du portefeuille :

❙ En établissant des indicateurs significatifs de la QàE qui ont un lien avéré avec l’avancement de la mise en œuvre du projet, et en suivant ces indicateurs au fil du temps ;

❙ En faisant figurer des indicateurs de QàE et de constitution de la réserve parmi les indicateurs clés de performance de la Banque ;

❙ En établissant des mesures qui permettent de relier les indicateurs d’assurance qualité pour la supervision à l’évaluation de la performance des chefs de projet et des chefs de division.

Phot

o: ©

BAD

11Réponse de la Direction

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Réponse de la Direction

La Direction salue les efforts déployés par IDEV pour son évaluation de la qualité à l’entrée (QaE), et de la qualité de la supervision et de la sortie (QoS) des opérations de la BAD, ainsi que pour les enseignements qu’elle en a tirés, qui peuvent améliorer la qualité opérationnelle et l’efficacité de la Banque pour le développement dans le but d’atteindre les objectifs de sa stratégie décennale et les objectifs stratégiques des Top 5. La présente note expose le point de vue de la Direction sur les évaluations et examine leurs conclusions dans le contexte de sa propre évaluation des systèmes de gestion de la qualité de la Banque, évaluation qui a conduit à identifier plusieurs domaines de réformes qui fournissent un cadre pour l’examen des recommandations d’IDEV.

Introduction

La Direction est d’accord avec l’IDEV sur l’importance de la qualité des opérations à l’entrée et de la qualité de la supervision, et elle souscrit à l’orientation des recommandations. La Direction reconnaît l’importance de rechercher une qualité optimale pour la conception et la supervision des projets, et a pris plusieurs mesures au cours des dernières années pour renforcer cette qualité, certaines en réponse à des évaluations antérieures. L’adoption et la consolidation permanente du nouveau modèle de développement et de prestation de services (DBDM)

ont créé une plateforme qui offre l’opportunité d’améliorer la réactivité de la Banque aux besoins des pays membres régionaux (PMR) et d’assurer que les interventions de la Banque conduisent à de meilleurs résultats pour les PMR.

Les évaluations de la QaE et de la QoS ont été menées dans le cadre du suivi de l’Évaluation globale des résultats de la Banque en matière de développement, réalisée par l’IDEV en 2016. Dans ce rapport, une synthèse des 14 évaluations de la stratégie et des programmes pays a déterminé que malgré que la qualité des projets au démarrage

Encadré A : Synthèse

La Direction souscrit à l’orientation des recommandations de l’IDEV sur la QaE et la QoS. Elle a défini 10 actions prioritaires, dans le cadre du DBDM, qui amélioreront considérablement la qualité et l’impact des opérations de la Banque. Ce sont :

1. Renforcer les compétences du personnel opérationnel.2. Construire une réserve de projet solide pour le développement des activités.3. Accroître les ressources pour la préparation des projets.4. Renforcer le processus d’évaluation pour assurer la qualité des opérations.5. Renforcer l’examen de l’état de préparation et l’évaluation par les pairs, et y affecter des ressources.6. Renforcer la planification et la budgétisation de la préparation et de la supervision des projets.7. Travailler à l’élaboration d’un portail intégré des opérations.8. Soutenir l’état de préparation des emprunteurs et le développement de leurs capacités.9. Passer de la supervision des projets à l’appui à leur mise en œuvre.10. Intégrer une culture de la qualité.

La Direction élaborera un plan de mise en œuvre détaillé couvrant chacune de ces mesures, qui énoncera des résultats livrables classés par ordre de priorité, d’importance, et assortis d’échéances. La Direction communiquera ce plan au Conseil d’administration avant la fin de l’année.


et la qualité de la supervision sont des critères nécessaires pour obtenir des résultats en matière de développement elles restent relativement faibles.

L’évaluation de la QaE a adopté le concept de « qualité à l’entrée » comme étant la qualité de conception et l’état de préparation à la mise en œuvre d’un projet lorsqu’il entre dans le portefeuille de la Banque. Il importe également de distinguer les différents aspects de la qualité : i) pertinence et approche stratégiques ; ii) qualité de la conception (comprenant les aspects techniques, financiers et économiques ainsi que les aspects fiduciaires et de sauvegarde) ; iii) dispositions institutionnelles et de mise en œuvre, de l’évaluation des risques et du cadre des résultats.

Comme dans les autres banques multilatérales de développement (BMD), pour ce qui est des projets financés par la BAD, l’emprunteur est responsable de la mise en œuvre du projet. D’après le Manuel des opérations de la Banque (2015), la Banque soutient l’emprunteur par le biais de « suivi de la mise en œuvre » : il s’agit « d’un ensemble continu d’activités menées pendant la durée de vie d’un projet, du lancement du projet à son achèvement en passant par les activités courantes de supervision ». Comme d’autres BMD, la BAD s’apprête à redéfinir ces activités de supervision en tant qu’« appui à la mise en œuvre », afin de renforcer la notion de responsabilité première de l’emprunteur dans la mise en œuvre, tandis que la BMD fournit un appui à cette mise en œuvre.

Ces deux évaluations reposent sur les engagements de la Banque ainsi que sur des autoévaluations, des examens institutionnels et des évaluations IDEV antérieures. Elles soutiennent également l’importance accrue accordée dans le nouveau Cadre de mesure des résultats à une approche proactive de la gestion de portefeuille et au rapprochement avec les PMR.

Vue d’ensemble

Les évaluations fournissent une estimation franche de la QaE et de la QoS des opérations de la Banque.

Elles identifient les problèmes pour lesquels, le plus souvent, les solutions sont complexes et nécessitent une attention ciblée et soutenue ainsi que des ressources adéquates pour assurer leur mise en œuvre efficace. C’est pourquoi la Direction a lancé un large éventail de réformes visant à traiter ces questions à différents niveaux. Entre 2009 et 2014, au niveau opérationnel, la Direction a révisé ses approches, conformément aux bonnes pratiques des BMD et conformément aux normes internationales en matière de stratégies pays, de conception et de préparation des projets, ainsi que de suivi de la mise en œuvre. Une impulsion supplémentaire a été donnée à ces initiatives lorsque la Banque a lancé les Top 5 en 2015 et lorsqu’elle a adopté le Modèle de développement et de prestation de services (DBDM) en avril 2016, afin d’accroître l’impact de la Banque sur le développement et sa réactivité face aux PMR (le tableau A présente la chronologie des initiatives récentes de la Banque en matière d’assurance qualité).

L’effort d’IDEV visant à introduire une rigueur méthodologique dans l’évaluation de la qualité de l’évaluation via l’analyse quantitative est novateur. L’évaluation a adopté un outil de validation pour prédire les résultats des projets en matière de performance, bien que les constatations soient limitées par le fait que cet outil est fondé sur les données d’un échantillon de 20 projets seulement, ce qui n’est pas représentatif du portefeuille1. La Direction apprécie les efforts déployés par l’IDEV pour obtenir les réactions du personnel opérationnel dans le cadre de l’évaluation de la QaE, y compris au moyen d’études de cas. L’évaluation de la QaE a également donné lieu à un examen exploratoire des opérations non souveraines, à l’aide d’une approche distincte permettant de s’adapter à leurs objectifs et à leur contexte particuliers.

L’évaluation de la QoS, qui, comme la QaE, repose sur une approche méthodologique mixte, est formative et cherche à mettre l’accent sur l’apprentissage plutôt que sur la responsabilité. L’évaluation a montré que les orientations de la Banque en matière de supervision des projets étaient pertinentes, claires et


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

conformes aux bonnes pratiques. Elle met en évidence des lacunes dans les directives et politiques de supervision et de clôture de projets, particulièrement les opérations multinationales et les situations fragiles. Elle souligne aussi des faiblesses dans les incitations aux dispositions institutionnelles, dans la gestion de la supervision, ainsi que dans le suivi axé sur les résultats au niveau du projet. Tout en notant que l’utilisation de l’outil d’examen à mi-parcours n’est pas généralisée, l’évaluation reconnaît également que la présence élargie sur le terrain, ainsi que l’amélioration du suivi en temps réel au niveau du portefeuille permet une observation plus continue.

Alors que la Banque assure le suivi de la mise en œuvre de ses opérations au niveau des projets et du portefeuille, l’évaluation est centrée sur le niveau des projets et fournit peu d’informations sur la contribution du suivi du portefeuille au processus global d’assurance qualité. La qualité du suivi au niveau des projets est un élément essentiel du suivi du portefeuille, car ce sont les conclusions de la supervision des projets individuels, souvent tirées des rapports de supervision, qui servent de base aux décisions de gestion lors des examens du portefeuille.

Malgré l’intention de l’évaluation de la QoS de couvrir la supervision et la sortie, on trouve très peu de données sur la qualité à la sortie, à part le nombre de projets pour lesquels des rapports d’achèvement de projet ont été préparés. Le manque de spécificité dans la base d’éléments probants fait qu’il est très difficile pour la Direction d’identifier les changements appropriés visant à combler les lacunes en matière de supervision.

Bien que la Banque ait fait de nets progrès ces dernières années dans la réponse à certains de ses grands défis, la Direction convient qu’il faut faire beaucoup plus pour renforcer la QaE et la QoS. L’expérience acquise à la BAD et dans d’autres BMD montre que la qualité à l’entrée est un facteur essentiel des résultats des projets, mais que la qualité de la conception institutionnelle, de l’évaluation et de la gestion des risques, ainsi que la qualité de la supervision et de la mise en œuvre

par les emprunteurs influent aussi sur le degré de résultats obtenus. Pour cette raison, et profitant du fait que les rapports sur la QaE et la QoS ont été produits en parallèle, la Direction traite les deux évaluations dans une seule Réponse de la Direction. Les constatations générales sur la QaE concernant la qualité de la conception des projets et l’efficacité des processus d’examen offrent des informations précieuses qui sont généralement cohérentes avec l’évaluation opérée par la Direction elle-même et fournissent des arguments supplémentaires à l’appui des réformes visant à renforcer la qualité. L’accent mis sur les processus d’orientation et d’examen de la qualité à l’entrée doit donc être considéré dans le contexte d’une réforme plus large des systèmes et des incitations visant à améliorer la qualité du portefeuille.

Les conclusions de l’évaluation de la QaE sont formulées séparément en aspects conceptuels et procéduraux de l’évaluation des opérations souveraines et non souveraines. L’analyse du cadre conceptuel découle de la théorie de l’évaluation et repose sur quatre dimensions de la qualité : i) l’évaluabilité ; ii) l’analyse économique ; iii) l’état de préparation à la mise en œuvre ; et iv) la gestion des risques ; mais elle en souligne deux qui sont plus importants (voir encadré B).

Évaluation de la Direction

En complément des évaluations de l’IDEV, la Banque a entrepris sa propre évaluation de la qualité opérationnelle de ses activités dans le cadre des réformes en cours du DBDM. Bien que les réformes du DBDM contribuent à renforcer la BAD dans son rôle de partenaire de confiance, très proche de ses clients PMR et très bien adapté à leurs besoins, plusieurs mécanismes et processus du système actuel de mise en œuvre ont été identifiés comme nécessitant un renforcement, dans le but d’augmenter l’efficacité des réformes :

Compétences opérationnelles. Les enseignements tirés par les autres BMD montrent que la qualité


globale commence par la qualité technique, l’expérience et les compétences en gestion de projet du gestionnaire de projet, ainsi que par la diversité des compétences à l’intérieur de l’équipe de travail. De nombreux membres du personnel opérationnel sont nouveaux à la Banque et ont une connaissance et une expérience inégales de la préparation et de la supervision des projets. Il en résulte une charge excessive de travail pour les gestionnaires de projets, ce qui peut mettre en péril la qualité des projets. Cette situation est aggravée par le manque de continuité dans la gestion des opérations au sein des projets, due à une rotation rapide après la préparation du projet, ce qui affecte la qualité de la supervision. L’étude de la Banque mondiale de 2018 (Hussain, Kenyon et Friedman, ibid) a identifié la qualité et la continuité des gestionnaires de projets comme étant essentielles pour assurer la qualité de la supervision, et comme étant les deux plus importants facteurs de la qualité des projets. Le diagnostic de la Direction indique également que la charge de travail des gestionnaires de projets est inégalement répartie entre les différents secteurs et régions, et en fonction des exigences du programme de travail dans les unités. L’évaluation par la Direction des lacunes dans les compétences et l’expérience opérationnelles souligne la nécessité

d’investir davantage dans la formation du personnel aux compétences opérationnelles (pour une analyse plus détaillée, voir l’analyse ci-dessous sur les ressources humaines).

Une réserve de projet robuste. Les projets de la Banque entrent dans la réserve de projet par la préparation d’une note de projet qui décrit la demande du PMR et sa cohérence avec la stratégie pays, la disponibilité des ressources financières, ainsi que la conformité avec les politiques et priorités de la Banque et du PMR. L’énoncé de projet est supposé avoir été examiné par le gestionnaire responsable avant que le projet soit inclus dans le réserve de projet du portefeuille. Ce processus n’est pas toujours suivi systématiquement pour élaguer la réserve de projet jusqu’à un nombre raisonnable de projets. Dans ce contexte, les critères utilisés pour sélectionner les projets à inclure dans le PIO (portefeuille indicatif d’opérations) devront peut-être être révisés. De plus, l’utilisation des fonds de préparation des projets n’est pas proportionnelle à la demande des PMR.

Ressources pour la préparation des projets. La Direction est d’accord avec la prémisse de l’évaluation selon laquelle une bonne préparation

Encadré B : Considérations sur l’évaluabilité et l’état de préparation

Le rapport sur la QaE souligne que l’évaluabilité et l’état de préparation sont deux dimensions qui sont des indicateurs importants du rendement d’un projet.

Évaluabilité – Une étude récente de la Banque interaméricaine de développement a conclu que parmi les trois dimensions d’évaluabilité couvertes par la matrice d’efficacité du développement de la BID – logique des projets, analyse économique, et suivi et évaluation – les deux premières ont un impact positif sur la performance des projets, mais un meilleur suivi ne se traduit pas par une plus grande efficacité des projets2. Un examen de la performance des projets de la Banque mondiale a révélé qu’un suivi de meilleure qualité a permis d’améliorer la performance des projets, mais son auteur se montre préoccupé par de potentiels défauts méthodologiques (par exemple l’endogénéité) lorsque la capacité des membres de l’équipe de projet est omise, puisque la capacité peut être liée tant à la qualité au démarrage qu’à une meilleure performance du projet. Par conséquent, le renforcement des systèmes de gestion de la qualité des projets doit se concentrer non seulement sur la logique de développement du projet, la qualité de l’analyse économique et financière et du suivi ainsi que de l’évaluation, mais aussi sur les compétences et les capacités des équipes de projet, ainsi que sur la manière dont elles intègrent le suivi dans la prise de décision pendant l’exécution du projet.

État de préparation – Le terme « état de préparation » est souvent associé à l’état de préparation à la mise en œuvre, et détermine dans quelle mesure un projet peut être prêt à démarrer ou à subir des retards de mise en œuvre. L’état de préparation d’un projet est donc pertinent pour le rythme de sa mise en œuvre, ce qui peut affecter la durée du projet mais ne signifie pas nécessairement que les résultats du projet ne seront pas atteints.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

de projet est importante pour une mise en œuvre efficace et efficiente. Elle est également d’accord avec l’analyse qui met en évidence les limites de la disponibilité de financement adéquat pour la préparation des projets, par rapport aux autres BMD. La Banque dispose d’un certain nombre de petites facilités de financement fragmentées, dont la lourdeur des procédures conduit à un accès inégal au financement. Les montants disponibles de ces sources sont insuffisants pour la préparation de grands projets, ce qui, en conséquence, limite la robustesse de la réserve de projet.

Processus d’examen. La Direction est globalement d’accord avec la plupart des constatations énumérées concernant le cadre procédural – absence d’affectation de ressources fondée sur le risque, grand nombre d’examens séquentiels, absence d’une fonction d’examen indépendante pour les opérations souveraines et absence d’un mécanisme pour vérifier comment on a tenu compte des commentaires sur la QaE. Le processus actuel d’assurance qualité comprend une évaluation séquentielle par les pairs, un examen de l’état de préparation, un examen par l’équipe pays et, enfin, un examen par le vice-président responsable ou le Comité des opérations aux étapes du PNC (projet de note conceptuelle) et du REP (rapport d’évaluation de projet). Le diagnostic de la Direction indique également que les réunions d’examen du PNC et du REP sont tenues lorsque les documents sont presque terminés, ce qui réduit la portée des révisions de fonds. En outre, les évaluateurs pairs apportent une expertise technique inégale et leurs évaluations se concentrent principalement sur la conformité et l’amélioration des documents de projet, plutôt que sur la faisabilité technique. Comme l’indique également l’évaluation, bien que la matrice de réponse doive être soumise pour approbation ultérieure, la mesure dans laquelle les commentaires sont effectivement intégrés varie.

Examen de l’état de préparation. Le diagnostic de la Direction appuie les constatations de l’évaluation concernant la faiblesse du processus d’examen de l’état de préparation et celle du contenu de

l’instrument d’examen de l’état de préparation. L’examen de l’état de préparation a d’abord été envisagé et mis en œuvre comme une fonction relevant des services centraux, indépendamment du Complexe à l’origine du projet. En 2014, la gestion de l’examen de l’état de préparation a été confiée au Complexe qui présente le projet. Le système actuel ne garantit pas l’indépendance de l’examen, ni ne garantit que l’examen est effectué par du personnel possédant les compétences techniques adéquates. L’analyse de la Direction montre, par exemple, que l’évaluabilité d’un projet – la justification de développement des projets, la qualité et le réalisme des cadres logiques, etc. – est un domaine qui demande une attention accrue. En outre, l’examen de l’état de préparation, tel qu’il est actuellement pratiqué, ne tient pas suffisamment compte des facteurs déterminants pour la préparation à la mise en œuvre – comme les dispositions financières et les dispositions de passation de marchés. Il n’est en outre pas orienté vers le soutien aux équipes de projets et est dépourvu de conseils pour augmenter la qualité.

Planification et budgétisation. Contrairement à ceux de nombreux organismes analogues, les systèmes informatiques de la Banque pour la planification budgétaire et la planification des projets ne sont pas intégrés, et des coefficients standards n’ont pas encore été mis en place (différenciés par instrument de prêt, secteur ou risque pays) pour affecter le budget administratif aux différentes tâches (telles que l’identification, l’analyse, le soutien à la mise en œuvre et la clôture). Avec l’introduction du Système d’enregistrement du temps d’activité, la Banque est maintenant en position de déterminer et de suivre le coût total des opérations – coûts de personnel, de consultants et de déplacement – et d’établir son budget en conséquence.

Systèmes d’information sur la gestion des opérations. Les systèmes d’information de la Banque – visant à traiter, à programmer et à suivre les opérations de la réserve de projet jusqu’à la l’approbation par le Conseil (SRAS, PIO, BPPS et BRAG) – ne sont pas reliés, ce qui limite leur


efficacité. En outre, contrairement à ceux des autres BMD, le système informatique de gestion de la Banque, ne comprend pas de portail unique des opérations qui intégrerait et faciliterait l’accès à l’information sur la mise en œuvre des projets en temps réel, ce qui simplifierait grandement la gestion et la supervision des projets et réduirait la charge de travail des équipes de projets et des gestionnaires ; cela accroîtrait également la transparence et, par conséquent, l’obligation de rendre compte, afin de s’assurer que les données sont à jour.

État de préparation des emprunteurs et capacité de mise en œuvre. L’analyse de la Direction confirme les constatations de l’évaluation selon lesquelles l’état de préparation de l’emprunteur (par exemple : l’équipe de mise en œuvre du projet est en place et l’approvisionnement est bien avancé) et sa capacité de mise en œuvre sont essentiels au succès du projet. La Banque n’a pu fournir qu’un soutien limité dans ce domaine, notamment par l’intermédiaire du Fonds MIC TA. La Direction reconnaît qu’en plus d’évaluer la capacité des contreparties dans le cadre de l’examen de l’état de préparation, la Banque devrait investir beaucoup plus pour soutenir le développement de la capacité de mise en œuvre des PMR.

Supervision. L’évaluation de la Direction concorde avec la constatation de lacunes dans le respect des directives actuelles en matière de supervision ainsi que celle de retards dans les rapports d’achèvement des projets. Pour accroître ses chances d’atteindre les objectifs de développement des projets, la Banque pourrait adopter une approche plus proactive pour soutenir la mise en œuvre des projets. En assurant une plus grande continuité dans la gestion des projets grâce à une augmentation du personnel sectoriel déployé dans les départements régionaux, la Banque peut tirer parti de l’occasion créée par le DBDM pour renforcer la supervision des projets.

Culture de la qualité et des résultats. L’évaluation souligne que la culture institutionnelle actuelle favorise l’approbation plutôt que la qualité et les résultats. Au cours des dernières années, la Banque

a fait des progrès marqués en matière de mesure des résultats et de présentation des rapports, avec la Revue annuelle sur l’efficacité du développement. Toutefois, les incitations actuelles et les indicateurs de performance clé organisationnels continuent de mettre l’accent sur les objectifs en matière de prêts et de décaissements. Dans le cadre des opérations, les incitations du personnel restent orientées sur la valorisation des nouvelles approbations de prêts et sur le volume des prêts.

Ressources humaines. Le diagnostic de la Direction montre que le nombre de membres du personnel de première ligne dotés de responsabilités de gestionnaires de projets pour la création des projets et la gestion du portefeuille, est resté stable au cours des cinq dernières années. Au cours de la même période, la taille et la complexité des activités de prêt et du portefeuille actif de la Banque ont considérablement augmenté. En raison de ces tendances, la charge de travail des gestionnaires de projets a augmenté régulièrement, avec une moyenne de 3,4 opérations supervisées en plus des activités de préparation et d’analyse des projets. L’examen fait également ressortir d’importantes disparités entre les secteurs et les régions, y compris dans des domaines hautement prioritaires comme l’énergie et l’agro-industrie où l’expertise dans les pays francophones et anglophones demeure rare. La Direction entreprend une analyse plus approfondie des besoins régionaux en ressources pour les gestionnaires de projets et l’écosystème opérationnel afin d’identifier les possibilités de redéploiement et de renforcement.

Relever la barre pour l’assurance qualité

Les messages à retenir des évaluations de l’IDEV, des propres évaluations de la Direction et des enseignements tirés par d’autres BMD font ressortir un certain nombre de domaines dans lesquels la Banque pourrait réformer son système de gestion de la qualité. La Direction a l’intention d’élaborer des mesures détaillées pour chacun d’entre eux dans


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

un plan de mise en œuvre qui sera élaboré après la discussion des évaluations par le Conseil.

1. Amélioration des compétences du personnel opérationnel. La Banque doit adopter une approche plus systématique pour améliorer les compétences de son personnel opérationnel. Reconnaissant que de nombreux gestionnaires de projets sont nouveaux à la Banque, la Direction est en train de mettre sur pied une académie des opérations pour former l’ensemble du personnel aux compétences opérationnelles. Une formation « Gateway » sera obligatoire pour tout le personnel d’exploitation. Un système d’accréditation pour tous les gestionnaires de projets et pour d’autres postes opérationnels clés viendra s’y ajouter (priorité à court et à moyen terme3).

2. Constitution d’une solide réserve de projets de développement des activités. Afin d’assurer un processus et des critères plus solides de développement des activités, la Direction réexaminera les critères du Manuel des opérations déterminant l’inclusion d’un projet dans le programme indicatif des prêts PIP, en mettant l’accent sur la formation des professionnels pendant la première année du PIP. L’inclusion dans le PIP déclenchera l’allocation du budget administratif pour l’élaboration de la note conceptuelle du projet. C’est également à ce stade qu’il convient d’évaluer le besoin de fonds pour soutenir la préparation des projets (priorité à court terme).

3. Augmenter les ressources pour la préparation des projets. La Direction propose d’améliorer le soutien aux équipes de travail en facilitant l’accès aux fonds de préparation des projets, et en accordant une plus grande supervision de la composition des équipes de projets et des services de savoir opérationnel améliorés aux équipes de projets en première ligne. Des ressources supplémentaires pour la préparation des projets pourraient provenir de fonds fiduciaires et de mécanismes spécialisés

pour la préparation des projets. La Banque étudie les moyens de consolider et d’élargir les possibilités existantes afin de mieux soutenir la préparation des projets. Les directeurs aideront les gestionnaires de projet à renforcer leurs équipes en faisant appel à du personnel provenant de différents secteurs de la Banque, en veillant tout particulièrement à ce que du personnel spécialisé soit disponible en temps voulu pour répondre aux exigences fiduciaires, de sauvegarde et aux autres exigences internes. Bien qu’il puisse être nécessaire d’augmenter le nombre de membres du personnel dans des fonctions clés, la Direction explore également les possibilités de redéploiement et de réaffectation de membres du personnel afin de s’assurer que toutes les équipes de projet disposent des ressources humaines nécessaires. La Direction a également l’intention d’investir davantage dans la production, la valorisation et la diffusion des savoirs afin de faciliter l’accès des équipes spéciales aux connaissances de pointe et aux savoirs opérationnels (priorité à court et à moyen terme).

4. Renforcer le processus d’examen pour assurer la qualité des opérations. Conformément à la nouvelle matrice de délégation de pouvoirs (DAM), la Direction prévoit de regrouper les processus d’examen séquentiels actuels en un seul examen simultané à l’étape du PNC et à celle du REP. La nouvelle DAM soutient également la consolidation des étapes, avec une seule réunion centrée sur la qualité à chacune des deux étapes principales, réunion au cours de laquelle les différentes contributions à l’examen de la qualité seront examinées ensemble. Les examens combineront les deux objectifs connexes mais distincts que sont l’« assurance qualité » et l’« amélioration de la qualité ». La Direction examinera le calendrier des réunions d’examen pour s’assurer que les équipes de projet peuvent bénéficier de l’orientation fournie. Les réunions à l’étape du PNC émettront une décision Go/No go pour que la préparation


puisse – ou non – continuer (priorité à court terme). La Direction intègre également la responsabilité et l’obligation de rendre compte de la qualité dans la DAM récemment publiée.

5. Améliorer l’examen de l’état de préparation et l’examen par les pairs, et y affecter des ressources. Conformément à la recommandation de l’IDEV, la Direction prévoit de rapatrier la responsabilité des examens de l’état de préparation dans les services centraux pour garantir l’indépendance et la qualité. L’instrument d’examen de l’état de préparation sera également remanié pour mettre davantage l’accent sur l’évaluabilité et l’état de préparation à la mise en œuvre, avec l’appui des compétences techniques et opérationnelles appropriées et, surtout, des ressources pour aider les équipes spéciales à améliorer la qualité. On traitera explicitement l’évaluabilité comme une partie intégrante de la revue de l’état de préparation. Le soutien aux équipes de projets pour l’amélioration de la qualité aura pour but de renforcer la logique des opérations pour le développement, la conception du projet et l’analyse qui étaye la conception du projet, en renforçant la qualité et le réalisme des cadres logiques et en s’assurant que les indicateurs appropriés sont en place pour suivre les progrès et évaluer l’impact. L’état de préparation à la mise en œuvre à l’étape REP veillera à ce que toutes les dispositions institutionnelles, financières et de marchés soient en place pour la première année avant la présentation au Conseil afin d’éviter les retards dans l’efficacité et les décaissements dus à des mesures qui auraient pu être prises avant l’approbation du Conseil. En outre, on élaborera un cadre de référence et une orientation ciblés pour le rôle d’évaluation par les pairs, qui mettront explicitement l’accent sur la formulation de recommandations visant à améliorer la qualité technique et la conception des projets. Pour les deux outils de revue, l’attention se portera sur les responsables de l’exercice, en veillant à ce

qu’ils aient l’expertise et le temps nécessaires (priorité à court et à moyen terme).

6. Renforcement de la planification et de la budgétisation pour la préparation et la supervision des projets. La Banque s’emploie à améliorer et à connecter entre eux ses systèmes actuels de planification, de programmation, de budgétisation et de suivi, en liaison avec la mise à jour prévue de SAP. L’aspect budgétaire comprendra l’élaboration de coefficients de coût pour les diverses étapes du cycle du projet, en fonction des niveaux de risque, et les différentes modalités de prêt comme base pour l’allocation des ressources (priorité à court terme).

7. Travailler à l’élaboration d’un portail intégré des opérations. La Direction renforce considérablement son système de gestion de l’information en lien avec la mise à jour de SAP, en complétant les améliorations de la conception par des mesures visant à lier et à intégrer les systèmes connexes. La Direction travaille également à l’élaboration d’un portail des opérations qui intégrerait l’information sur les prestations, les budgets, la performance des projets, le suivi et les résultats pour renforcer la gestion des projets et du portefeuille. Cela faciliterait l’utilisation des données opérationnelles pour en tirer des enseignements et pour apporter des corrections d’orientation grâce à une gestion de projet plus efficace (des détails supplémentaires sur cette question seront fournis dans le prochain plan de mise en œuvre). Un tel système alimenterait également le tableau de bord de la mise en œuvre et le système de communication des résultats de la Banque (encadré C) (priorité à court et à long terme).

8. Soutenir l’état de préparation des emprunteurs et le développement de leurs capacités. La Direction entend porter davantage d’attention à l’état de préparation des emprunteurs et à y consacrer des ressources. Il


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

s’agit notamment d’examiner de près les fonds disponibles pour la préparation des projets et, éventuellement, en plus de compléter les fonds existants, d’en créer un nouveau qui permettrait une plus grande souplesse, notamment pour les subventions remboursables et le capital destiné aux premières étapes du développement des projets. Cela signifie également qu’il importe d’examiner de près l’état de préparation à la mise en œuvre dans le cadre du processus d’assurance qualité (priorité à court et à moyen terme).

9. Passer de la supervision des projets à l’appui à leur mise en œuvre. La Direction examine les moyens de redéfinir la supervision des projets en « soutien à la mise en œuvre ». L’activité sera ainsi réorientée vers l’appui proactif aux unités de mise en œuvre des projets et aux organismes d’exécution, afin de progresser dans la mise en œuvre, de les aider à éliminer les goulets d’étranglement ou les déficits de capacités et, finalement, d’avancer vers les résultats souhaités en matière de développement. Cette orientation est bien étayée par l’approche continue de la supervision, dorénavant rendue

possible par une présence accrue dans les pays – non seulement des responsables de projets, mais aussi des responsables de programmes pays et des responsables pays, qui apportent soutien et engagement tout au long de l’année. Néanmoins, le respect des orientations relatives à l’établissement de rapports périodiques sera également renforcé (priorité à court terme).

10. Intégrer une culture de la qualité. La Direction reconnaît que le travail visant à convertir la culture de l’approbation en une culture qui encourage et met l’accent sur les résultats et l’efficacité du développement dans les PMR est une tâche inachevée. Néanmoins, il est essentiel de s’assurer que tous les projets mettent l’accent sur la qualité des produits et des résultats plutôt que sur le volume des prêts. Pour renforcer ce message, la Direction élargira l’utilisation actuelle des indicateurs clés de performance et en adoptera de nouveaux qui mettront l’accent sur la qualité et les résultats, elle intégrera en outre la qualité dans les évaluations de la performance du personnel et de l’encadrement (priorité à court et à moyen terme).

Encadré C : Suivi des progrès réalisés dans la mise en œuvre des opérations

Le Système de rapports sur les résultats (RRS) traduit l’engagement de la Banque à faire de la technologie un outil d’amélioration de la qualité des opérations. Ce système, dont le lancement est prévu pour le 1er janvier 2019, fournira aux responsables des informations en temps réel sur les indicateurs essentiels de la qualité opérationnelle.

En automatisant les étapes clés de la préparation des documents d’assurance qualité – cadre logique axé sur les résultats, rapport d’avancement de la mise en œuvre et des résultats de rendement, et rapport d’achèvement de projet – le RRS simplifiera et rationalisera les exercices de rapport pour les gestionnaires de projets. Il permettra également à la Banque d’exploiter les nouvelles données disponibles pour améliorer la conception des opérations, l’examen des portefeuilles et les exercices de planification.

Le RRS comprend le lancement de deux tableaux de bord complémentaires pour : i) suivre la qualité des portefeuilles d’opérations de la Banque et ii) préparer des rapports sur les résultats globaux des opérations. Ce nouvel outil de production de rapports permet une plus grande cohérence et une plus grande discipline en matière de données, notamment en réduisant le temps consacré au rapprochement des feuilles de calcul personnalisées, temps qui sera mis à profit pour effectuer davantage d’analyses de données.

Avec le RRS, la Banque s’appuie sur les capacités et l’ubiquité de son système d’information SAP – dorsale informatique de la Banque – et permet aux gestionnaires de projets d’accéder à l’interface du système à travers son réseau panafricain. La Banque a l’intention de transférer le RRS vers SAP dans le cadre de sa mise à jour afin d’améliorer l’expérience des gestionnaires de projets et l’analyse interactive des données.


Prochaines étapes

L’ambitieux programme de réformes évoqué plus haut s’inscrit à maints égards dans le prolongement de la transformation engagée par le DBDM. Ces réformes renforceront l’environnement institutionnel dans lequel le nouveau modèle fonctionnera, afin d’améliorer la qualité et les résultats pour les PMR. La mise en œuvre de l’ordre du jour nécessitera une hiérarchisation et un échelonnement des priorités pour répondre aux besoins différents des prêts souverains et non souverains ainsi qu’aux spécificités des différentes modalités de prêt.

À la suite de la discussion du Conseil sur ces évaluations, la Direction élaborera un plan de mise en œuvre détaillé couvrant chacun de ces domaines. Le plan de mise en œuvre de l’assurance qualité, y compris les mesures limitées dans le temps et leurs répercussions sur les ressources, sera communiqué au Conseil avant la fin de l’année.

Mesures adoptées par la Direction

Le présent rapport de mesures de la Direction expose les principales dispositions que la Banque s’engage à prendre en réponse à la recommandation de l’IDEV concernant la qualité à l’entrée et la qualité de la supervision. Il sera complété par un plan de mise en œuvre qui étoffera le diagnostic de la Direction sur l’assurance qualité et rendra opérationnelles les actions brièvement décrites dans le tableau ci-dessous. Le plan de mise en œuvre établira également un cadre clair des responsabilités assorti d’échéances précises à court et à moyen terme. Le plan de mise en œuvre sera communiqué au Conseil pour information d’ici décembre 20184. Les dates limites pour tous les points figurant dans le présent rapport des mesures adoptées seront précisées dans le plan de mise en œuvre.

Tableau A : Chronologie des initiatives d’assurance qualité depuis 2010

Reformes clés 2010 2011 2012 2013 2014 2015 2016 2017 2018InstitutionPD 03/2013 sur la revue et le processus d’approbation ●

PD 02/2015 sur la conception et l’annulation des opérations ●

Adoption du nouveau Modèle de développement et de prestation de services

●

Lancement du nouveau Tableau des opérations ●

Nouvelle Matrice de délégation des pouvoirs ●

Qualité a l’entréeAdoption des cadres logiques standards axés sur les résultats

●

Standards de QaE et RR pour les opérations de service public

●

Introduction de l’ADOA dans les opérations non souveraines ●

Standards de QaE et RR pour les stratégies pays ●

Transfert des revues de l’état de préparation aux départements régionaux

● ●

Lancement de la formation des unités de gestion de projets et des agences d’exécution

●

Qualité de la supervisionMise en place du rapport de supervision ●

Adoption du nouveau rapport d’achèvement ●

Formation et développement du personnelLancement des modules d’apprentissage en ligne sur l’assurance qualité

●


Une

éval

uatio

n in

stitu

tionn

elle

IDEV


Recommandations d’IDEV Réponse de la Direction

Qualité a l’entrée

1. Outils d’examen – Améliorer la pertinence et l’efficacité du processus d’examen de l’état de préparation et de l’évaluation par les pairs en :

a. Ajustant le contenu de l’examen de l’état de préparation pour tenir compte des facteurs qui influent sur l’exécution du projet, notamment l’« évaluabilité », l’analyse économique, l’état de préparation à la mise en œuvre et la gestion des risques.

b. Accroissant l’indépendance de l’examen de l’état de préparation et de l’évaluation par les pairs en mandatant une unité indépendante pour coordonner les deux processus.

c. Élaborant un mandat détaillé et des critères de sélection pour les évaluations techniques par les pairs.

La Direction est d’accord pour renforcer la pertinence – c’est-à-dire l’évaluabilité et l’état de préparation des opérations – et l’indépendance de l’examen de l’état de préparation.

❙ Améliorer l’« évaluabilité » et la portée des examens de l’état de préparation et des évaluations par les pairs. La Direction ajustera le contenu de l’examen de l’état de préparation et de l’évaluation par les pairs pour fournir une évaluation plus complète, y compris de l’état de préparation à la mise en œuvre.

❙ Augmenter l’indépendance des revues de l’état de préparation. La Direction dissociera la responsabilité de la revue de l’état de préparation et de l’évaluation par les pairs de l’unité de la Banque chargée de préparer le projet.

❙ Renforcer le filtre d’état de préparation. La Direction ajustera l’examen de l’état de préparation afin de veiller à ce que toutes les dispositions institutionnelles, financières et d’approvisionnement pour la première année soient en place avant la présentation au Conseil et de s’assurer qu’il n’y ait aucun retard dans l’efficacité et le décaissement en raison de mesures qui auraient pu être prises avant son approbation.

2. Processus d’examen de l’assurance qualité – Accroître l’efficacité et l’efficience du processus d’examen de la qualité en :

a. Identifiant les « pistes » d’approbation pour différencier les opérations en fonction du risque.

b. Réduisant le nombre d’étapes séquentielles, au profit d’une réunion unique au cours de laquelle toutes les contributions à l’AQ seront prises en compte.

c. Fournissant aux gestionnaires de tâches un soutien plus systématique pour l’amélioration de la qualité, en particulier sur les projets qui ne répondent pas aux normes de qualité.

d. Identifiant et allouant les ressources nécessaires tout au long de l’« écosystème » de préparation pour soutenir l’efficacité du processus d’examen.

La Direction est d’accord pour accroître l’efficacité et la qualité du processus d’examen.

❙ Mettre en œuvre un processus d’examen plus efficace. La Direction continuera à utiliser un processus plus léger pour les projets inférieurs à un certain seuil (volume d’approbation) et, dans le cas des opérations non souveraines, pour ceux dont le risque est jugé faible par le Comité du risque de crédit.

❙ Consolider le processus d’examen. La Direction regroupera les discussions sur l’examen de l’état de préparation, l’évaluation par les pairs et les commentaires des autres départements en une seule réunion par étape d’examen – c’est-à-dire le PNC et le REP – conformément aux plans établis dans la nouvelle DAM.

❙ Accroitre l’amélioration de la qualité. La Direction affectera des ressources, y compris en personnel, à l’amélioration de la qualité et à son intégration dans le processus de revue de la qualité.

3. Etat de préparation des contreparties – Améliorer l’état de préparation et la capacité des PMR en matière de gestion des investissements publics en :

a. Détectant les déficits de capacité des PMR lors de l’identification des projets et en proposant des mécanismes pour fournir un soutien supplémentaire, si nécessaire, tout au long de la préparation et de l’évaluation.

b. Identifiant les pays où l’état de préparation des contreparties est un obstacle sérieux à la conception et à la mise en œuvre des projets, et en leur offrant des programmes d’appui pour remédier à ces contraintes et compléter l’élaboration du PIP.

La Direction est d’accord pour accroître l’efficacité et la qualité du processus d’examen.

❙ Effectuer une évaluation de l’état de préparation des contreparties au niveau du projet. La Direction inclura une analyse explicite de la capacité et de l’état de préparation des contreparties dans les processus d’examen de la qualité des projets et, sur cette base, intégrera les mesures de renforcement des capacités – ou d’atténuation – requises pour la conception du projet.





❙ Améliorer les outils et l’engagement au niveau pays. Dans le cadre de la nouvelle approche du diagnostic et du cadre stratégique par pays, la Direction inclura une évaluation de la manière dont les capacités nationales peuvent influencer le programme d’investissement prévu et des activités de renforcement des capacités/des activités extérieures aux prêts et autres qui seront nécessaires pour y remédier. Il s’agira notamment d’offrir toute une gamme de services d’appui aux capacités, y compris des cliniques fiduciaires, une assistance technique et un dialogue connexe, selon les besoins des pays. Les progrès seront suivis de près grâce aux revues de la performance des portefeuille-pays.

4. Planification et budgétisation – Renforcer le PIP de la Banque et l’allocation des ressources pour la préparation des projets en :

a. Renforçant le descriptif de projet et en améliorant son contenu, grâce, entre autres, à des critères clairs pour l’inclusion des projets dans la réserve de projet de préparation, et à une allocation de ressources (temps et budget) pour la préparation.

b. Identifiant une plateforme intégrée pour la gestion du réserve de projets, y compris l’identification, la préparation et l’évaluation.

La Direction est d’accord pour renforcer davantage le PIP et l’allocation des ressources.

❙ Encourager le développement des activités. La Direction a adopté un indicateur clé de performance interne exigeant que 25 % des prêts pour chaque secteur opérationnel disposent de PNC approuvés au cours de l’année précédant leur approbation prévue.

❙ Réviser les listes de contrôle standard pour l’inclusion dans le PIP. La Direction va reprendre des listes de contrôle standard visant à guider les gestionnaires de projets dans la préparation des résumés de projets (y compris pour les ONS), de façon à assurer un filtre approprié pour l’inclusion dans le PIP.

❙ Renforcer la responsabilisation des supérieurs hiérarchiques à l’égard de la qualité du PIP. La qualité des projets validés par les supérieurs hiérarchiques dans le cadre du PIP sera évaluée lors de l’évaluation régulière de leur performance.

❙ Améliorer la programmation des projets. La Direction rationalisera et reliera entre eux les divers systèmes utilisés aujourd’hui pour la planification et la réalisation des projets (SRAS, PIP, BPPS et BRAG).

❙ Rationaliser l’allocation des ressources. La Direction utilisera des coefficients budgétaires standards fondés sur les résultats de l’année précédente et sur les changements prévus pour la nouvelle année, afin de mieux aligner le processus budgétaire sur les orientations stratégiques.

5. Développement des activités – Accroître l’utilisation des facilités de préparation des projets afin de promouvoir leur qualité à l’entrée, en :

a. S’assurant que le personnel est sensibilisé et encouragé à utiliser ces fonds pour soutenir l’identification et la mise en œuvre du PIP, y compris l’EES (études sectorielles et économiques).

b. Augmentant le total des fonds et l’allocation maximale pour le FPP, le MIC-TAF et d’autres sources de fonds.

c. Diversifiant l’utilisation approuvée des facilités de préparation afin de réduire les coûts de transaction et de remédier aux contraintes systémiques de la préparation des projets.

La Direction est d’accord pour accroître l’utilisation des installations de préparation de projets.

❙ Sensibiliser le personnel aux bonnes pratiques en matière de préparation de projets – y compris en utilisant des composantes de projets existants pour la préparation de nouveaux projets ou de projets de suivi dans le secteur concerné.

❙ Accroitre le recours aux facilités existantes de préparation des projets, grâce à une série d’initiatives, notamment l’amélioration des connaissances du personnel sur les fonds fiduciaires et les fonds spéciaux.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV




❙ Augmenter l’allocation aux facilités de préparation des projets. La Direction étudiera la faisabilité d’une augmentation de l’allocation au FPP du FAD et d’un instrument approprié pour les pays BAD (comme le MIC-TAF), sous réserve de l’approbation du Conseil.

❙ Envisager de nouveaux mécanismes de financement pour la préparation des projets. La Direction examinera la souplesse dont elle dispose pour accroître l’utilisation des fonds existants – et éventuellement des fonds supplémentaires – afin d’inclure d’autres instruments de financement que les subventions, comme les subventions remboursables pour le développement de projets et les capitaux pour le développement de projets en phase de démarrage.

6. Personnel et formation – Améliorer la capacité du personnel à gérer efficacement les projets en :

a. Mettant en place un programme de formation complet et obligatoire pour tous les gestionnaires de projets.

b. Déterminant des références pour le nombre de projets par gestionnaire de projets et en affectant les ressources en conséquence. Ces références devraient refléter les différentes charges de travail associées à la préparation et à la supervision des opérations.

La Direction est d’accord pour améliorer la capacité du personnel.

❙ Créer une académie des opérations. La Direction mettra en place l’Académie des opérations en vue d’offrir une formation spécialisée aux gestionnaires de projets et aux spécialistes de programmes pays.

❙ Introduire l’obligation d’accréditation. Dans le cadre de l’Académie des opérations, la Direction introduira une formation obligatoire pour tous les professionnels des opérations et un programme d’accréditation supplémentaire pour les gestionnaires de projets.

❙ Redimensionner le nombre de gestionnaires de projets. La Direction finalisera son analyse continue de la charge de travail par gestionnaire de projets et établira des références pour guider l’affectation des gestionnaires de projets par région et par Complexe.

7. Incitations et ressources – Renforcer les incitations en faveur de la qualité du portefeuille en supplément des approbations en :

a. Déterminant des indicateurs significatifs de qualité à l’entrée ayant une relation démontrée avec l’avancement de la mise en œuvre du projet, et en suivant ces indicateurs dans le temps.

b. Incluant des indicateurs de qualité à l’entrée ainsi que de développement de la réserve de projet parmi les indicateurs clés de performance internes de la Banque.

La Direction accepte de renforcer les incitations à promouvoir l’assurance qualité et d’assurer une supervision régulière et proactive des projets.

❙ Accroitre l’attention accordée aux indicateurs clés de performance internes en matière de qualité et de supervision. La Direction révisera ses indicateurs clés de performance internes existants en vue de mettre davantage l’accent sur la qualité du portefeuille et sur la supervision proactive, en vue de parvenir à un meilleur équilibre entre l’approbation et la qualité et les résultats.

❙ Renforcer la responsabilisation de l’encadrement hiérarchique en matière de qualité et de supervision. La Direction inclura des indicateurs sur la qualité et la supervision, à l’intention de l’encadrement hiérarchique, et examinera les performances dans le cadre des évaluations régulières de la performance.

❙ Suivre régulièrement la performance de du mécanisme. La Direction utilisera son tableau de bord des prestations pour faire un suivi régulier de la qualité des opérations et de la supervision par Complexe, région et département.





8. Qualité à l’entrée des ONS – Identifier un cadre pour renforcer l’évaluabilité des opérations non souveraines ena :

a. Mesurant l’évaluabilité des ONS, outre leurs résultats potentiels en matière de développement, y compris l’identification d’une logique interventionnelle claire et fondée, et de mesures de performance crédibles.

b. Identifiant un mécanisme d’amélioration de la qualité pour renforcer la justification de développement et la logique d’intervention des ONS, en particulier pour les projets présentant une faible évaluabilité.

La Direction convient d’élaborer, de piloter et d’introduire un système intégré de planification et de suivi des résultats pour les opérations non souveraines.

❙ Clarifier la logique d’intervention des opérations de secteur privé. Un cadre logique sera testé puis mis en œuvre pour recenser les résultats des projets du secteur privé. Il sera rationalisé pour permettre aux équipes de projet de l’utiliser de façon plus intuitive, en examinant un ensemble choisi d’extrants et de résultatsb.

❙ Informer la préparation des projets avec des données ex ante. Les équipes de projet utiliseront les indicateurs utilisés dans le rapport ADOA du projet pour suivre l’avancement du projet.

❙ Suivre les résultats au cours de la mise en œuvre. La Banque examinera de plus près les résultats obtenus au cours de la mise en œuvre. Les rapports annuels de supervision seront remaniés afin de mieux suivre les résultats en matière de développement.

❙ Fournir des informations claires sur les résultats lors de la clôture du projet. Les rapports d’opérations de secteur privé et d’achèvement de projets fourniront les descriptions détaillées obtenues tout au long de la durée du projet.

9. Risque de crédit des ONS – Renforcer les mécanismes de vérification de l’atténuation des risques de crédit pour les opérations non souveraines en :

a. Mettant en place un filtre d’état de préparation pour le financement des projets et les prêts aux entreprises, afin de fournir des lignes directrices en matière de bonnes pratiques aux agents d’investissement et d’éclairer le processus d’évaluation.

b. Renforçant le rôle des responsables du risque de crédit en veillant à ce que les principaux risques soient correctement pris en compte et considérés dans les accords de prêt.

La Direction convient de renforcer encore les mécanismes d’atténuation des risques pour les ONS. À cet égard, la nouvelle DAM a déjà inclus des mesures supplémentaires – par exemple, l’approbation du directeur de secteur avec des entrées de l’équipe d’évaluation du projet (PAT) - pour s’assurer de l’état de préparation des ONS. Ces réformes seront encore renforcées par les actions suivantes :

❙ Mettre en place d’un filtre d’état de préparation au crédit. La Direction mettra en place un filtre sur l’état de préparation au crédit pour le financement des projets et des prêts aux entreprises en vue de mieux orienter les spécialistes de l’investissement et d’éclairer le processus de revue.

❙ Renforcer le rôle des spécialistes du crédit. La Direction introduira une note de clôture pour renforcer le rôle des responsables du risque de crédit afin de s’assurer que les principaux risques sont adéquatement pris en compte et considérés dans les accords de prêt.

10. Risque des ONS pour la gouvernance interne – Mettre davantage l’accent sur les risques des opérations non souveraines pour la gouvernance institutionnelle en ::

a. Renouant le dialogue avec le groupe de travail des IFD (institutions de financement du développement) sur la gouvernance des institutions et offrir une formation aux responsables des investissements sur les questions de gouvernance.

b. Identifiant les fonds d’assistance technique consacrés aux questions de gouvernance internes pour les ONS, en particulier pour les opérations impliquant des banques de niveau inférieur.

La Direction est d’accord pour accorder plus d’attention aux risques des ONS sur la gouvernance en prenant les mesures suivantes :

❙ Améliorer de la qualité de l’Intégrité et de la diligence raisonnable (IDD). La Direction améliorera la portée et la qualité de l’IDD, de la due diligence fiscale et de l’évaluation de la gouvernance dès l’origine des projets, afin de mieux identifier les risques opérationnels et financiers.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV




c. Exploitant plus systématiquement l’assistance technique pour atténuer les risques sur la gouvernance institutionnelle avant le décaissement d’un prêt et surveiller les performances en fonction de l’évolution des comportements.

❙ Mieux suivre la gouvernance de l’organisme. La Direction suivra mieux la gouvernance interne des ONS tout au long du cycle de vie du projet. A cette fin, la Direction introduira des indicateurs pour l’évaluation et le suivi de la gouvernance des clients des ONS et entreprendra des IDD régulières pendant la mise en œuvre des opérations à haut risque.

❙ Améliorer de la coordination en matière de gouvernance institutionnelle. La Direction renforcera l’engagement de la Banque à l’égard des questions de gouvernance des ONS. La Direction s’engagera plus régulièrement avec le groupe de travail concerné des IFD et de l’ALSF pour organiser des formations régulières.

Qualité de la supervision

11. Gestion proactive du projet – Améliorer la gestion des risques et la performance du projet, en :

a. Assurant l’alignement entre la supervision au niveau des projets et le suivi du portefeuille, afin de fournir un soutien approprié aux projets problématiques et de relever les défis concernant la mise en œuvre et les résultats des opérations.

b. Promouvant, dans le cas des opérations du secteur public, une approche proactive de la supervision des projets en fonction du type de projet et de l’exposition aux risques tels qu’établis à l’étape précédant la mise en œuvre.

c. Renforçant, en particulier pour les opérations du secteur privé, la supervision des projets avec des missions spéciales pour suivre les rapports sur les résultats tout au long du cycle de vie du projet.

La Direction convient de continuer à promouvoir la supervision proactive des opérations et à renforcer la conformité aux normes existantes :

❙ Renforcer le respect des normes existantes de deux supervisions par an pour toutes les opérations éligiblesc.

❙ Renforcer la surveillance proactive fondée sur le risque. Toutes les opérations n’exigent pas la même profondeur de supervision. La profondeur de la supervision dépendra du niveau de risque : les opérations à faible risque peuvent être traitées par une supervision depuis les bureaux alors que les opérations à risque élevé nécessiteraient normalement une mission sur le terrain.

❙ Renforcer le contrôle de la qualité de la supervision. Le Système de contrôle des résultats (voir l’encadré C) fournira aux supérieurs hiérarchiques un tableau de bord qui les avertira des opérations nécessitant une supervision plus étroite.

Parmi les autres mesures pertinentes en matière de supervision qui seront prises en réponse à d’autres recommandations, on peut mentionner les suivantes :

❙ Renforcer les indicateurs clés de performance internes de haut niveau sur la supervision et renforcement de la responsabilité de la supervision proactive, en suivant les performances au niveau de l’entreprise (Recommandation 7).

❙ Améliorer la supervision des ONS (Recommandation 8). ❙ Mieux répartir les ressources pour la supervision (Recommandation 4).

❙ S’assurer que les gestionnaires de projets ont une charge de travail gérable et sont correctement formés (Recommandation 6)

12. Conformité aux règles de la Banque – Assurer le respect des normes de qualité en matière de supervision et d’exécution en :

a. Renforçant les mécanismes de contrôle qualité pour les rapports de supervision de projet et le suivi post-supervision.

b. Établissant des directives claires et des critères de performance pour la supervision des projets, y compris une différenciation par type d’opération et par pays et profil de risque.

Voir l’ensemble des mesures énoncées en réponse à la recommandation 11 (Surveillance proactive).





c. Entreprenant des missions de terrain sélectives après la clôture du projet pour renforcer la valeur ajoutée des notes de validation de l’IDEV et la crédibilité des résultats.

d. Établissant des directives claires et des critères de performance pour les pratiques de suivi et de supervision au sein des bureaux régionaux de la Banque et dans les bureaux pays respectifs.

e. Réalisant une planification précoce de l’achèvement du projet lors de la dernière mission de supervision afin d’assurer un financement adéquat et une meilleure performance.

f. Rationalisant les outils d’établissement de rapports de supervision afin de réduire la duplication des contenus, le nombre de rapports requis, et d’assurer une différenciation par type d’opération pour maximiser l’utilité.

g. Établissant des mesures pour relier les indicateurs de performance de l’Assurance Qualité à l’évaluation de la performance des gestionnaires de projets et de l’encadrement hiérarchique.

13. Améliorer la qualité des rapports – Accroître la base d’éléments probants et la crédibilité des rapports sur les résultats en :

a. Examinant les rapports d’achèvement de projet dans le cadre de réunions officielles de validation afin de créer un espace de discussion et d’articulation appropriée des enseignements tirés.

b. Élaborant un système intégré et automatisé de gestion de l’information tout au long du cycle du projet afin de favoriser la responsabilisation et d’améliorer l’efficacité et l’efficience des rapports.

La Direction est d’accord pour redoubler d’efforts pour assurer la qualité des rapports.

❙ Responsabiliser la Direction à l’égard des résultats et du rendement. La Direction fera rapport à CODE tous les deux ans sur les résultats et le rendement de ses opérations à l’aide des résultats des rapports d’achèvement de projets (RAP).

❙ Augmenter l’attention à l’égard de la couverture et de la rapidité d’exécution des RAP. La Direction accorde de plus en plus d’attention à la qualité et à la rapidité des RAP et prévoit d’atteindre son objectif de 90 % en 2018 (voir aussi les mesures énoncées dans la Recommandation 7 sur les incitations).

❙ Renforcer l’obligation de rendre compte sur la qualité des RAP en insistant sur la finalisation des RAP uniquement après examen par le responsable du soutien à la mise en œuvre et par le responsable du secteur concerné.

❙ Mettre en œuvre un système de rapport sur les résultats. La Direction mettra en place le système de rapports sur les résultats en 2019 dans le but de suivre régulièrement les progrès accomplis dans la préparation, la supervision et la clôture des opérations.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV




14. Incitations – Renforcer des mesures incitatives visant à soutenir une culture des résultats et de la qualité en :

a. Renforçant la responsabilisation et alignant les incitations sur la supervision.

b. Renforçant les capacités du personnel en matière de gestion d’activités de projet par le biais d’ateliers d’apprentissage standard et de gammes de formations.

Voir les mesures énoncées en réponse aux Recommandations 7 (Mesures incitatives) et 6 (Formation).

a Cet engagement a été pris dans le cadre de la reconstitution du FAD-14 avec une échéance fixée à 2019. b Les quatre engagements suivants sont tirés du Cadre de mesure des résultats 2016-2025 du Groupe de la Banque.c Toutes les opérations ne sont pas admissibles à la surveillance systématique ; ne sont pas admissibles à la surveillance systématique les opérations d’urgence et les fonds fiduciaires.

Phot

o: ©

BAD

29Introduction

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Introduction

Le présent rapport résume les constatations, les conclusions et les recommandations de l’évaluation indépendante de l’assurance qualité (AQ) tout au long du cycle de projet du Groupe de la Banque africaine de développement (BAD ou la Banque). Cette évaluation s’inspire des évaluations indépendantes de la qualité à l’entrée (QàE) ainsi que de la qualité de la supervision et à la sortie. Le rapport analyse aussi les processus d’AQ pour s’assurer de leur conformité aux sauvegardes environnementales et sociales (SES) de la Banque à chaque stade du cycle. Les évaluations prévues, par IDEV, du Système de sauvegardes intégré (SSI) et de l’auto-évaluation s’appuieront sur cette analyse effectuée à l’échelon du projet pour examiner les questions de niveau supérieur.

Le « cadre d’assurance de la qualité de la Banque » est conçu comme une série de revues qu’effectue l’institution pour assurer la qualité du portefeuille à chaque étape du cycle du projet. Une description détaillée des processus d’AQ figure en annexes A et B. L’évaluation porte sur l’ensemble des opérations des secteurs public et privé dont le montant était supérieur à 1 million d’UC durant la période 2012–2017, à l’exclusion des opérations et dons d’urgence et de prise de participation5. Ce rapport de synthèse aborde quatre grandes questions institutionnelles :

1. Si les différents processus d’AQ sont adaptés à leur finalité et fonctionnent comme un système cohérent et efficace ;

2. Quels sont les facteurs qui facilitent ou entravent l’application du cadre tel que conçu ;

3. Dans quelle mesure le cadre d’AQ contribue à l’atteinte des résultats de développement ; et

4. Dans quelle mesure le cadre d’AQ favorise l’apprentissage à l’échelle de la Banque.

L’AQ au niveau des projets est l’un des plus importants facteurs à l’origine de l’impact sur le développement. La conception et la supervision sont largement reconnues comme étant des déterminants clés de l’atteinte des résultats et de l’apprentissage organisationnel. L’Évaluation globale des résultats de développement (EGRD) de la BAD, publiée en fin 2016 par IDEV, a conclu que la médiocrité de la QàE et de la supervision limitait l’efficacité, l’efficience et la durabilité des projets. Bien que la conception des projets de la Banque n’ait pas pleinement intégré et géré les risques contextuels, la médiocrité de la supervision n’a pas permis de modifier le déroulement du projet lorsque cela s’avérait nécessaire6.

La présente évaluation cadre avec l’engagement pris par la Banque, lors du précédent cycle du FAD, i) d’améliorer la qualité de la conception, de la supervision et de la performance des projets, eu égard notamment à la gestion des risques sociaux et environnementaux, et ii) de veiller à ce que la Banque fonctionne comme une organisation d’apprentissage7. Les constatations de l’évaluation devraient éclairer la revue à mi-parcours du FAD-14 prévue en octobre 2018. En conséquence, les principales parties prenantes à l’évaluation sont i) les membres du Conseil d’administration de la Banque, ii) les membres de la Direction des opérations, et iii) le personnel chargé des secteurs public et privé de la Banque.

Les appréciations et évaluations institutionnelles précédentes ont montré que l’existence d’un maillon faible le long de la chaîne d’AQ peut avoir une incidence sur l’intégrité de l’ensemble. Par exemple, des insuffisances au stade de conception, notamment la faiblesse de la logique d’intervention et


de l’analyse des risques, peuvent avoir une incidence sur la capacité de la Banque i) à traiter de manière proactive les risques de mise en œuvre, ii) à évaluer de manière crédible les résultats obtenus et iii) à tirer des enseignements. L’EGRD effectuée par IDEV en 2016 a identifié la QàE comme un facteur clé sous-tendant l’atteinte des résultats du projet. L’EGRD a aussi constaté que les informations fournies sur la performance des projets étaient trompeuses et de piètre qualité, et a recommandé l’amélioration de la profondeur et de la qualité de la supervision. En 2016, la « Revue des opérations non souveraines (ONS) de la BAD » a relevé une absence de continuité dans la gestion du risque de crédit entre l’approbation et la mise en œuvre des projets, notamment un manque de clarté sur la manière dont l’évaluation du risque de crédit est utilisée pour cerner, suivre et atténuer les risques8. La Banque n’a pas procédé à une appréciation exhaustive de la qualité de l’évaluation quantitative des opérations du secteur privé. La plus récente évaluation institutionnelle de la QàE des projets du secteur public, qui remonte à 2014, a conclu que les problèmes de qualité du portefeuille demeuraient généralisés et que des retards persistaient dans la mise en œuvre des opérations dans presque tous les rapports sur le portefeuille de programmes pays9. Le rapport annuel 2016-2017 de la Banque sur le tableau de bord d’AQ a aussi fait état de la persistance de difficultés liées aux retards dans la préparation des rapports sur les REE, ainsi que de l’insuffisance de l’engagement et de l’attention de la direction à l’égard de ces rapports, de l’exactitude des notes des REE et de l’absence de motivation du personnel à présenter des rapports objectifs et francs sur les facteurs ayant une incidence négative sur le processus de mise en œuvre. Enfin, une autre revue récente de la Banque a mis en lumière des problèmes liés à la qualité des rapports et du suivi des opérations du secteur privé10. Ces constatations concordent avec celles des évaluations antérieures11. La Banque mène actuellement une étude diagnostique sur les pratiques de la BAD visant à garantir la QàE des opérations du secteur public.

La présente évaluation vient particulièrement à point nommé, compte tenu des initiatives

en cours visant à réformer les processus institutionnels de la Banque. Deux réformes institutionnelles clés ayant des répercussions importantes sur la manière dont la Banque s’est organisée pour identifier, préparer, superviser et clôturer les projets et assurer la qualité du portefeuille ont été introduites au cours de la période d’évaluation. Premièrement, la Banque a mis en œuvre d’importants changements structurels et opérationnels dans le cadre de l’introduction du nouveau DBDM12. En outre, la Banque a introduit une nouvelle directive présidentielle (nº 02/2015) qui définit de nouvelles attentes relativement à l’état de préparation des projets après la présentation au Conseil d’administration de la Banque et l’approbation par ce dernier, et à l’accélération des décaissements13. L’analyse tient compte, dans la mesure du possible, des répercussions des deux réformes. L’évaluation a éprouvé de la difficulté à accéder aux dernières propositions du Comité chargé de la responsabilité en matière de prestation de services et de l’efficience des processus (DAPEC)14, lesquelles tendent à remanier les procédures commerciales institutionnelles et opérationnelles de la Banque. Ceci comprend les procédures concernant la préparation, l’évaluation et la supervision des projets, pour les rendre plus efficaces et les adapter à la nouvelle structure opérationnelle15.

L’objectif global de la présente évaluation est d’examiner la pertinence, l’efficience, l’efficacité et l’institutionnalisation du cadre d’AQ de la Banque tout au long du cycle de projet. Les objectifs particuliers de l’évaluation d’AQ tout au long du cycle de projet sont les suivants :

1. Assurer le suivi des défis connus en ce qui concerne la qualité du portefeuille de la Banque ;

2. Évaluer la contribution du cadre d’AQ à l’efficacité de la gestion des risques, de l’apprentissage et du développement ;

3. Appuyer la mise en œuvre du DBDM et l’efficacité de la Banque en matière de développement, en

31Introduction

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

fournissant un point de vue indépendant et en dégageant des enseignements pour éclairer le programme d’action pour la qualité tourné vers l’avenir de la Banque.

Le tableau 1 présente les principaux thèmes et critères d’évaluation ayant servi à guider l’évaluation.

L’évaluation est basée sur les évaluations de la QàE et de la qualité de la supervision qui ont utilisé une approche méthodologique s’appuyant sur des méthodes harmonisées et mixtes pour examiner comment la Banque assure la qualité du portefeuille tout au long du cycle de projet. La procédure d’évaluation a démarré en février 2018 et a fait appel à un processus intense de collecte de données à Abidjan, à Washington DC et dans

cinq PMR. Elle a été complétée par des entrevues téléphoniques. L’annexe C présente la méthodologie et donne de plus amples détails sur cette dernière.

L’analyse des processus d’AQ se concentre principalement au niveau des projets. Elle tient compte du niveau pays et sectoriel, en ce qui concerne la constitution de la réserve de la Banque et ses relations avec la préparation des projets. Les données issues des revues et des outils de suivi à l’échelle de la Banque et du portefeuille sont confrontées aux informations relatives à la supervision au niveau du projet, afin d’évaluer la cohérence de l’ensemble du système. L’évaluation vise à fournir des éléments probants sur la qualité de la supervision du projet afin d’éclairer le débat général sur l’assurance qualité des opérations de la Banque.

Tableau 1 : Questions d’évaluation

Pertinence : Dans quelle mesure le cadre d’AQ de la Banque est-il adapté à sa finalité et en harmonie avec celui des institutions de référence et les pratiques optimales ?

Efficacité et efficience : Dans quelle mesure le cadre d’AQ de la Banque a-t-il été appliqué comme prévu et de manière efficace au plan du coût ?

Impact et durabilité : Quels sont les facteurs clés ayant facilité ou entravé la mise en œuvre des processus d’AQ ?

Dans quelle mesure le cadre d’AQ contribue-t-il à l’atteinte des résultats de développement et à l’apprentissage organisationnel ?

Phot

o: ©

BAD

33Constatations de l’évaluation

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Constatations de l’évaluation

Cette section résume d’abord les constatations sur la pertinence et le niveau d’alignement du cadre actuel d’AQ par rapport aux institutions de référence et aux pratiques optimales. Cette analyse est structurée suivant les deux phases principales du cycle de projet (avant et après l’approbation du projet par le Conseil d’administration) et comprend une sous-section distincte sur les SES et sur l’évaluation du niveau d’intégration du système d’AQ tout au long du cycle de projet. Elle évalue ensuite le niveau de conformité du système actuel, de l’identification à l’achèvement du projet. Le troisième ensemble de constatations fait le point sur les principaux facteurs externes et internes jugés importants pour une mise en œuvre efficace et réussie du cadre d’AQ. Enfin, l’évaluation examine dans quelle mesure les processus d’AQ ont contribué à l’obtention de résultats de développement et à l’apprentissage organisationnel, comme l’indique la théorie du changement à l’annexe D.

Pertinence du cadre actuel de contrôle de la qualité de la Banque

La section suivante résume les constatations de l’évaluation concernant la mesure dans laquelle les pratiques et normes d’AQ existantes sont adaptées à leur finalité et en harmonie avec les pratiques optimales tout au long du cycle de projet, et présente notamment une comparaison avec des organisations similaires. Elle étudie aussi le degré d’intégration des outils d’AQ dans un processus cohérent où l’information générée à chaque stade du cycle du projet est utilisée dans les étapes ultérieures de ce cycle. Cette analyse tient compte du contexte de la Banque et des réformes institutionnelles en cours, dans la mesure où ces informations étaient disponibles pour l’évaluation.

Le cadre de QàE de la Banque est-il adapté à sa finalité et en harmonie avec celui des institutions de référence et les pratiques optimales ?

Le processus de préparation, d’évaluation et d’approbation des projets d’investissement est « normalisé » lorsqu’on applique la modélisation de la maturité des processus opérationnels16. L’évaluation de la QàE s’effectue suivant un processus formel et des normes claires, consignées par écrit dans un Manuel des opérations (opérations souveraines), même si ce dernier est à l’état de projet depuis 2014, et dans un Manuel des activités (opérations non souveraines). Le calendrier des processus des programmes à l’échelle de la Banque réglemente et suit l’avancement des projets tout au long des différentes étapes de la revue et en assure la cohérence.

Le processus de préparation et d’approbation des projets de la Banque n’établit pas de distinction entre les projets en fonction du risque, ce qui est susceptible d’avoir des répercussions sur l’affectation des ressources. Des institutions de référence comme la Banque mondiale et le Fonds international de développement agricole (FIDA) prévoient moins d’étapes de revue et d’approbation pour les opérations à faible risque, notamment un système dans lequel un seul document est rédigé pour approbation par la direction. L’admissibilité au traitement de la voie 1 est déterminée sur la base d’une évaluation globale des risques liés à la préparation. Selon la DP 03/2013, la Banque établit une distinction entre les projets en fonction du risque uniquement au stade de l’acceptation finale, dans le cadre duquel les opérations de grande ampleur ou à risque élevé doivent être examinées et approuvées par le Comité des opérations. De même, la nouvelle matrice de délégation de pouvoirs ne permet pas d’établir une distinction entre les opérations


souveraines ; cependant, un processus accéléré a été établi pour les ONS à faible risque, notamment i) le financement à répétition d’un même promoteur, ii) le financement du commerce et iii) les opérations liées au Programme de promotion des PME africaines.

L’évaluation de la QàE a recensé quatre dimensions principales de la qualité des projets du secteur public qui sont mises en relief par les institutions de référence et la revue documentaire : i) évaluabilité17, ii) analyse économique, iii) état de préparation à la mise en œuvre18 et iv) gestion des risques. Ces dimensions ont été opérationnalisées par les institutions de référence dans différents outils qui ont inspiré l’instrument de la « norme de pratique optimale » mis au point par IDEV en vue de la présente évaluation19. La NPO visait à identifier les prédicteurs les plus importants de la performance des projets que la Banque devrait hiérarchiser dans ses revues avant l’approbation du projet par le Conseil, afin d’accroître la probabilité qu’un projet soit prêt à la mise en œuvre et plus susceptible de réussir. L’encadré ci-dessous résume les constatations effectuées à l’issue de l’application de la NPO à 20 projets d’investissement public achevés dans cinq secteurs approuvés après 2010 et pour lesquels un RAP est disponible. L’échantillon des opérations d’appui aux réformes (OAR) pourrait être soumis à la même analyse, en raison du nombre modeste de RAP disponibles et de la médiocrité de l’établissement de rapports sur les résultats de développement dans le reste de ces opérations.

Les pratiques de la Banque en matière de sélection et d’évaluation des opérations du secteur privé (fonctions relatives à l’ADOA et au risque de crédit) sont en harmonie avec celles des institutions de référence. D’autres organisations mettent cependant de plus en plus l’accent sur l’évaluabilité des projets du secteur privé, ainsi que sur la sélectivité et le risque de crédit20. Pour les ONS, la QàE d’IDEV a établi, sur la base de ces pratiques optimales, une NPO qui met l’accent sur i) l’évaluabilité21 et ii) la mesure dans laquelle les projets accordent la priorité à l’objectif de développement, relativement à leur justification et à leur mesure22. L’évaluation a relevé que l’existence de risques de crédit non atténués à l’entrée constitue un prédicteur important des résultats négatifs des projets des ONS, en ce qui concerne notamment le retard dans le démarrage et le risque de non-remboursement23.

L’approche de la Banque en matière de supervision et d’achèvement est-elle pertinente et conforme aux pratiques optimales ?

Les politiques et les directives relatives à la supervision des projets du secteur public sont considérées comme adaptées à leur finalité. Les réformes récentes réalisées au niveau des projets ont amélioré l’alignement, durant la mise en œuvre, du cadre d’AQ sur les institutions de référence, bien qu’il y ait encore matière à amélioration. La mise à jour des rapports publics

Encadré 1 : Les plus importants prédicteurs, à l’entrée, de l’atteinte des résultats des projets d’investissement public et leur utilisation dans le système actuel d’AQ

L’évaluation a prouvé statistiquement que l’évaluabilité et l’état de préparation à la mise en œuvre (dimensions revues avant l’approbation dans le cadre du filtre de REP (revue de l’état de préparation) de la BAD) constituent des prédicteurs importants de la performance des projets d’investissement public (taux de 70 % ou plus d’atteinte des résultats à l’achèvement). Il a été établi qu’une note moyenne de ces deux facteurs constitue le prédicteur le plus solide. IDEV s’est servi de cette note composite de QaD pour évaluer la QaD des projets d’investissement et a trouvé un seuil fondé sur des données probantes à partir duquel un projet a une probabilité de 0,65 d’atteindre tous ses résultats prévus.

Les outils dont dispose actuellement la Banque pour améliorer la qualité des projets avant leur approbation ne ciblent pas les facteurs qui prédisent les résultats des projets d’investissement. La REP traite certes de dimensions similaires, mais elle le fait de manière générale, sans norme ni exigence spécifique, et en donnant un poids égal à toutes les dimensions.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

de supervision et d’achèvement (REE et RAP) de 2014 a renforcé l’accent mis sur les objectifs de développement et amélioré leur alignement sur le cadre institutionnel de gestion des résultats de la Banque. Toutefois, le projet de Manuel des opérations doit faire l’objet de plus amples ajustements au niveau des directives spécifiques concernant la diversité du portefeuille de la Banque. Par exemple, les outils de supervision ne sont pas adaptés aux différents types de projets comme les opérations multinationales et régionales, les opérations multidonateurs ou celles mises en œuvre dans des contextes de fragilité. En outre, l’approche de supervision des projets des opérations du secteur public n’est pas encore suffisamment proactive. Le système public actuel de supervision des projets n’établit pas de distinction en fonction de la complexité des projets, de l’exposition aux risques et de la situation du pays, et n’augmente la fréquence de supervision que lorsque les projets sont identifiés comme étant à problèmes. Des institutions de référence comme la Banque mondiale, la SFI et la BID adoptent une approche différenciée pour définir des seuils budgétisation et d’allocation des ressources de supervision par type de projet, contexte pays et situation relative au portefeuille actif.

L’intensification des efforts de suivi du portefeuille a permis de renforcer adéquatement le système d’alerte pour la supervision des opérations publiques. La mise en œuvre du tableau de bord du portefeuille, la désignation d’équipes spéciales aux bureaux du vice-président et l’institution des réunions mensuelles de supervision des opérations sont considérées comme des changements positifs permettant de faire participer les équipes pays à la résolution des problèmes lors de la mise en œuvre des projets. Ces mesures devraient renforcer le cadre de supervision établi au niveau des projets.

Les outils actuels de supervision des projets sont pertinents, mais il conviendrait de renforcer leur complémentarité. En dépit du fait que la majorité des répondants à l’enquête (84 %) estiment que tous les outils de supervision apportent une valeur ajoutée, il est possible de réduire au minimum l’ampleur des doubles emplois. Les REE devraient certes être axés

sur l’établissement de rapports sur les résultats, mais il importerait que les aide-mémoire mettent l’accent sur les mesures de suivi convenues avec l’emprunteur et que le compte rendu de mission identifie les enjeux cruciaux qui requièrent l’attention de la direction de la Banque. Selon certains membres du personnel, il conviendrait de renforcer ce dernier rôle du compte rendu de mission pour attirer l’attention sur les problèmes pour lesquels l’intervention de la haute direction est nécessaire.

La récente décentralisation de la Banque pourrait nécessiter d’autres directives pour assurer une interprétation commune de nouveaux rôles et responsabilités. Les consultations avec les parties prenantes confirment aussi que les directives de la Banque ne sont pas encore suffisamment alignées sur son approche décentralisée du point de vue de la répartition ultime des rôles en matière de responsabilité. Les pratiques optimales répertoriées par l’évaluation et les entretiens avec le personnel de la Banque soulignent l’importance d’une supervision continue (échanges quotidiens avec les emprunteurs par courriel, par téléphone ou dans le cadre de réunions). Cette modalité de supervision n’est pas abordée dans le Manuel des opérations actuel de la Banque. Le rôle du personnel des bureaux pays dans la supervision des projets, en ce qui concerne notamment la supervision continue, deviendra plus important, comme le montre la dernière matrice de délégation de pouvoirs de juillet 2018.

Le Département du secteur privé de la Banque applique une approche de la supervision axée sur les risques, qui est jugée pertinente pour son contexte et bien alignée sur celle des institutions de référence. Outre la supervision régulière des projets effectuée par les chargés de portefeuille, l’équipe de gestion du risque de crédit suit de près la performance du projet en matière de risque de crédit. Cette fonction a été renforcée par la création de l’Unité des opérations spéciales chargée de la gestion des opérations en grande difficulté qui figurent dans la liste de surveillance. Plusieurs révisions récentes des directives et des formats sont jugées pertinentes pour améliorer l’orientation et l’utilité de la supervision


des projets des ONS24. Cependant, les points de décision et le calendrier en cas de projet à problèmes pourraient être mieux définis pour les ONS.

Les programmes transversaux clés figurant dans les documents stratégiques de la Banque, comme ceux sur les SES, l’égalité des genres et la fragilité, ne sont guère pris en compte lors de l’établissement de rapports sur les stades de mise en œuvre et d’achèvement du cycle de projet. Les modèles REE et RAP incluent des sections sur les sauvegardes environnementales et sociales et le genre, bien qu’elles soient en général peu discutées (voir la section sur la conformité). Des examens antérieurs de l’unité d’assurance qualité ont mis en évidence la nécessité d’inclure des sections spécifiques pour surveiller les problèmes spécifiques contextes. L’évaluation n’a pas trouvé de preuves d’efforts pour réviser le REE afin de le traiter.

Le cadre d’AQ de la Banque est-il adapté à sa finalité pour garantir la conformité aux exigences en matière de SES tout au long du cycle de projet et est-il en harmonie avec les pratiques optimales ?

Les exigences de la Banque relatives à l’évaluation et à la gestion des risques environnementaux et sociaux tout au long du cycle de projet ont été davantage clarifiées avec l’approbation du nouveau SSI en décembre 2013. Cela a facilité l’amélioration de l’efficacité du flux de travail. Toutefois, il reste encore beaucoup à faire pour améliorer les directives et les procédures — en ce qui concerne surtout les exigences et les directives relatives aux projets de catégories 2 et 4 — de supervision des risques environnementaux et sociaux, et les informations environnementales et sociales prévues dans les rapports d’achèvement25. Par ailleurs, à l’instar d’autres institutions de référence, la Banque doit adapter en permanence ses SES aux nouveaux défis découlant de l’évolution du portefeuille et des nouvelles questions de sauvegarde liées au genre, aux questions de main-d’œuvre, au risque de conflit et à la santé communautaire. La revue en cours

des PEES, la revue à mi-parcours que va effectuer la Direction et l’évaluation indépendante par IDEV du SSI permettront d’apprécier la couverture du SSI.

Par rapport à la Banque, les institutions de référence mettent de plus en plus l’accent sur la supervision des risques environnementaux et sociaux et sur une meilleure dotation en ressources de leurs équipes chargées des SES. Les efforts de la Banque demeurent fortement concentrés sur les obligations de vigilance en matière environnementale et sociale avant l’approbation du projet par le Conseil d’administration. Le personnel chargé des SES indique que 80 % de son temps est consacré à l’évaluation et 20 % seulement au suivi des risques environnementaux et sociaux identifiés lors de l’évaluation. Les chiffres obtenus de la Banque mondiale, de la Banque interaméricaine de développement (BID) et de la Société financière internationale (SFI) montrent qu’elles intensifient leurs efforts (en termes de budget et de temps consacré par les spécialistes des SES) en faveur de la supervision des questions environnementales et sociales26. Les équipes chargées des SES disposent aussi de leur propre budget pour planifier les supervisions en fonction du profil de risque du projet. À l’heure actuelle, la Division de la conformité aux sauvegardes (SNSC) compte sur l’invitation et le budget des unités des opérations pour se joindre aux missions sur le terrain. Il conviendrait d’étudier les répercussions de ce système sur la qualité de la supervision des questions environnementales et sociales, compte tenu des risques.

Quel est le degré d’intégration du cadre d’AQ ?

Les bonnes pratiques exigent que les processus d’AQ tout au long du cycle de projet fonctionnent de manière intégrée, pour faire en sorte que les informations générées à chaque étape soient transmises aux étapes suivantes du projet et guident la conception et la mise en œuvre des nouvelles opérations. Au stade de conception, les activités initiales visent à assurer une bonne qualité de la conception et de l’état de préparation à la mise en


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

œuvre des projets, ainsi qu’à anticiper les risques et à proposer des mesures d’atténuation. Une conception évaluable devrait faciliter l’établissement de rapports de projet francs, crédibles et basés sur les résultats du cadre logique, et servir de guide pour dégager les enseignements retenus. Les instruments de supervision, de la phase préalable à la mise en œuvre à la phase d’achèvement, devraient permettre de suivre les progrès et de réduire les retards d’exécution. Le statut de risque d’un projet devrait faire l’objet d’un suivi et d’un rapport de l’approbation à la mise en œuvre (voir la théorie du changement à l’annexe D).

Le système actuel d’AQ de la Banque ne dispose pas de systèmes de données intégrés pour gérer les opérations tout au long du cycle de projet, ce qui limite la mesure dans laquelle ces données peuvent être utilisées pour éclairer les décisions stratégiques. La gestion des connaissances tout au long du cycle de projet est caractérisée par l’existence de multiples plates-formes indépendantes, dont quelques-unes contiennent des informations contradictoires et, dans bien des cas, des versions qui ne sont pas approuvées ou validées par la direction générale. L’évaluation a constaté que certaines informations clés sur l’échantillon de projets examiné n’étaient accessibles qu’auprès du chef de projet27.

Ces dernières années, la Banque s’est efforcée de mettre en place une plateforme informatique intégrée, comme l’ont fait d’autres institutions de référence. Actuellement, le Département du secteur privé essaie d’établir une plate-forme intégrée tout au long du cycle de projet. De même, le SSI approuvé à la fin de 2013 prévoyait l’élaboration d’un système de documentation en ligne relié à la base de données SAP, pour suivre et stocker les principales informations environnementales et sociales générées pendant la durée de vie du projet, aux de facilitation des contrôles périodiques de conformité. Ce système intégré de suivi des sauvegardes n’est pas encore pleinement opérationnel28. Certaines institutions de référence, comme la BID, s’emploient à élaborer des plates-formes de données intégrées, pour améliorer la responsabilité, l’efficacité et l’établissement de rapports. Le coût d’opportunité de l’absence de

systèmes de ce genre est évident compte tenu du temps et des ressources nécessaires pour compiler des données exactes sur plusieurs plates-formes afin de répondre aux demandes de renseignements de base sur la gestion opérationnelle.

Niveau de conformité au cadre actuel d’AQ

La section ci-après évalue dans quelle mesure les revues d’AQ et leurs résultats ont été mis en œuvre comme prévu et selon une norme de qualité appropriée, eu égard notamment aux principales questions environnementales et sociales et transversales. L’évaluation a constaté que la mise en œuvre de la QàE est assez systématique et que la plupart des problèmes de conformité se posent aux stades de mise en œuvre et d’achèvement du cycle du projet, comme l’indique le résumé ci-dessous

Conformité avant l’approbation du projet par le Conseil d’administration

Les fiches de projet ne sont pas établies de façon systématique, car elles n’existent que pour 6 % des projets d’investissement examinés lors de l’évaluation. Le Manuel des opérations existant décrit l’établissement de la fiche pays comme une étape clé pour l’identification des projets publics et l’intégration du projet dans la réserve de la Banque29. Les chargés de programme pays interrogés ont confirmé que les fiches de projet sont rarement établies. Cela entrave la possibilité de déterminer le temps et les ressources nécessaires pour aider l’emprunteur à préparer des projets de qualité. La Banque n’a pas systématiquement budgétisé la préparation des projets durant l’ensemble de la période d’évaluation et les données existantes sont en grande partie non crédibles.

En revanche, les institutions de référence se servent de « fiches de projet » équivalentes pour déterminer les besoins en ressources en vue de la préparation des projets en fonction des caractéristiques clés, et pour appuyer la gestion


de la réserve. Autant la Banque mondiale que le FIDA exigent qu’une fiche de lancement d’activité soit remplie durant la phase d’identification pour intégrer un nouveau projet dans les systèmes de gestion financière et déterminer les ressources nécessaires à sa préparation. Dans le cas de la Banque mondiale, les « coefficients » institutionnels du budget de préparation des projets sont basés sur des caractéristiques clés, dont la complexité, le pays, le secteur et l’échelle d’un projet. Le respect de cette exigence est contrôlé au moyen de la plate-forme SAP.

Les exigences actuelles en matière de composition et de participation à la réunion de l’équipe pays ne sont pas systématiquement mises en œuvre ou en application. La DP 03/2013 donne des directives sur la composition de l’équipe pays et la participation aux réunions de cette dernière qui se compose notamment d’un représentant des unités chargées de la politique et de la stratégie, des directeurs sectoriels et des responsables d’autres unités organisationnelles compétentes, ainsi que sur une exigence de quorum de qualité30. Toutefois, les commentaires des parties prenantes clés indiquent que ces exigences ne sont pas toujours respectées, y compris le quorum de qualité. De l’avis général, ces processus ne sont pas très pertinents (d’après les réponses de l’enquête en ligne)31 et le niveau de prise en compte des observations formulées est faible32.

L’analyse des documents d’évaluation des projets de l’échantillon a révélé un recours systématique et cohérent au processus de classification des impacts environnementaux et sociaux, qui a été abandonné à quelques reprises, par exemple lors d’opérations d’urgence. SNSC a cependant fait état de 28 projets dont l’approbation a été « assortie de conditions » de 2014 à 2016. Seuls cinq d’entre eux ont été soumis à des conditions de prêt, un quart étant des projets de catégorie 4 (interventions par le biais d’intermédiaires financiers)33. L’évaluation a constaté un bon niveau de conformité de l’échantillon de projets (avant et après le SSI) aux exigences de publication des études environnementales et sociales .Cependant, cette dimension était difficile à évaluer en raison du manque de versions validées

de ces études (83 % de l’échantillon) et du manque d’informations sur le processus de divulgation des informations environnementales et sociales clés des projets de catégorie 434.

L’évaluation a constaté que la majorité des 89 projets classés dans les catégories 1, 2 et 4 comportaient des conditionnalités environnementales et sociales, mais que seuls quelques-uns d’entre eux étaient assortis de conditions préalables. L’application des obligations de vigilance en matière environnementale et sociale avant l’approbation devrait réduire la nécessité de soumettre les projets à des conditionnalités, en permettant soit d’envisager des solutions de rechange au projet, soit d’intégrer des mesures correctives dans la conception du projet. L’évaluation a relevé que la majorité des 89 projets des catégories 1, 2 et 4 (65 %) entrés en vigueur après 2012 comprenaient au moins un type de condition ou de clause restrictive relative aux prêts environnementaux et sociaux, mais seulement 14 % étaient assortis de conditions préalables35. Dans bien des cas, les rapports de contrôle restaient silencieux sur le respect de ces conditions. Cela fait écho aux constatations de 2016 de la SNSC, selon lesquelles rien ne permettait d’établir si les conditions proposées pour l’autorisation et l’approbation de 28 projets entre 2014 et 2016 avaient été remplies36. L’inclusion de conditions de prêt dans les projets des secteurs tant public que privé ayant des impacts environnementaux et sociaux importants (catégories 1 et 2) ne se traduit par une amélioration des informations environnementales et sociales dans les rapports de supervision que dans le cas des projets de catégorie 1 assortis de conditions préalables, et non ceux de catégorie 2.37

Il convient de redoubler d’efforts pour assurer la conformité au nouveau SSI couvrant les nouvelles opérations de prêt, comme les opérations mises en œuvre par le biais d’intermédiaires financiers et les OAR. À la Banque et ailleurs, les SES ont été initialement conçues pour les grands projets d’investissement dans les infrastructures. Les systèmes de sauvegardes de la Banque approuvés à la fin de 2013 visaient à mieux appuyer la gamme


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

en évolution des produits de prêt et les modalités de financement novatrices, notamment les OAR et les opérations mises en œuvre par le biais d’intermédiaires financiers38.

❙ L’évaluation n’a pas pu apprécier pleinement le respect des procédures de la Banque en matière de SES pour la majorité des 22 opérations de l’institution figurant dans l’échantillon et prévoyant des prêts institutionnels ou à un intermédiaire financier qui les rétrocède ou les investit au profit de sous-projets susceptibles d’avoir des impacts environnementaux ou sociaux négatifs. Des informations environnementales et sociales suffisantes n’ont été trouvées que pour huit de ces opérations. IDEV complétera cette analyse lors de la prochaine évaluation du SSI.

❙ S’agissant des OAR, les impacts environnementaux et sociaux stratégiques qui en découleront potentiellement ne sont pas entièrement cernés au moment de l’évaluation, car il est tenu pour acuis que ces opérations n’ont pas d’incidences environnementales et sociales négatives (projets de catégorie 3). Sur les 110 OAR approuvées par la Banque en 2012–2017 qu’IDEV a analysées dans le cadre de son évaluation des OAR de la BAD, 2 seulement n’ont pas été classées dans la catégorie 3, et une d’entre elles a été reclassée dans la catégorie 3 lors de la mise en œuvre39. Compte tenu du nombre croissant d’OAR du secteur énergétique et d’autres secteurs spécifiques, on risque, en présumant qu’elles appartiennent toutes à la catégorie 3, de manquer des occasions d’aider les pays à évoluer vers une trajectoire de croissance verte.

D’après les chiffres fournis par les intéressés eux-mêmes, la Banque présente des taux d’efficacité

similaires à ceux de la BID du point de vue du temps écoulé entre la note conceptuelle et l’approbation des projets d’investissement public. La Banque mondiale consacre beaucoup plus de temps à la préparation des projets pour approbation que la Banque (14 mois contre 6,63 mois). Toutefois, par rapport aux institutions de référence, le processus de préparation et d’approbation des projets de la Banque en vue d’améliorer la qualité des opérations souveraines est moins efficace, compte tenu i) de l’absence de différenciation fondée sur les risques entre les projets, et ii) du nombre plus élevé d’exigences en matière de revue séquentielle et d’approbation (au moins huit avant la transmission au Conseil)40.

Conformité aux premiers stades de la mise en œuvre

L’évaluation a mis en évidence une série de problèmes de conformité lors du lancement du projet, par rapport aux exigences énoncées dans les orientations de la Banque. Une mission de lancement de projet a été organisée pour 48 % seulement des projets examinés. Les personnes interrogées ont indiqué que dans bien des cas, cette mission a eu lieu trop tôt (avant la mise en place de l’équipe permanente du projet), sa durée se révélant trop brève pour couvrir les questions clés (en moyenne cinq jours) et ses équipes étant sous-optimales eu égard à la participation du personnel de soutien comme les experts juridiques, fiduciaires et des SES.

Conformité durant la mise en œuvre du projet

Les orientations de la Banque prescrivent une supervision quotidienne continue des opérations du secteur public, en plus d’une supervision au moins sur

Encadré 2 : Pratiques optimales aux premiers stades de la mise en œuvre

Les institutions de référence investissent plus de ressources à ce stade clé que la Banque. Par exemple, la BID tient un premier atelier avant l’approbation pour définir et examiner les avantages du projet, et conclure un engagement mutuel à suivre les indicateurs de développement. Un autre atelier est organisé après l’approbation et avant le premier décaissement pour garantir un démarrage harmonieux du projet. Lors du deuxième atelier, un plan d’exécution final est mis à jour et validé, et les principaux risques liés à la mise en œuvre sont identifiés.


le terrain. Pour ce qui est des projets à problèmes ou potentiellement à problèmes, plus d’une mission sur le

terrain par an est envisagée. En ce qui concerne les projets du secteur privé, la fréquence de supervision

Tableau 2 : Niveau de conformité aux dimensions clés de la supervision de la Banque

Forces FaiblessesFréquence des missions de supervision

La fréquence des missions de supervision sur le terrain des opérations du secteur public a diminué au cours de la période 2013–2017, mais est demeurée élevée : elle est passée de 83 % des projets ayant une ou plusieurs missions de supervision par an à 74 % en 2017.

La proportion de projets n’ayant pas fait l’objet d’une mission de supervision au cours d’une année donnée a sensiblement augmenté, soit de 17 % des projets actifs en 2013 à 26 % en 2017.

Le pourcentage de projets publics à problèmes supervisés plus d’une fois par an est passé de moins de 70 % en 2013-2015 à 100 % en 2016-2017. Les opérations multinationales sont supervisées moins fréquemment que les autres projets.

Il y a une distinction limitée par rapport à la durée des missions de supervision des projets problématiques et non problématiquesa .

Les opérations multinationales sont supervisées moins fréquemment que les autres projets.

S’agissant des ONS, de nouvelles directives ont été approuvées en 2015. L’évaluation a constaté que 36 % des projets entrés en vigueur avant 2015 étaient supervisés au moins une fois par an. Ce pourcentage s’est amélioré pour atteindre 75 % après 2015b .

Composition des équipes des missions de supervision

Dans le cas des projets du secteur public, les experts en gestion financière sont de plus en plus souvent associés à leurs missions de supervision (75% de l’échantillon).

D’après l’étude documentaire des projets du secteur public, 49 % seulement des missions de supervision avaient des effectifs suffisantsc. Cela a été confirmé par l’enquête auprès des parties prenantes : 52 % des répondants estiment que le profil de compétences des équipes de supervision sur le terrain ne tient pas suffisamment compte du type et de l’état d’avancement du projet.

Pour ce qui est des projets du secteur privé, la conformité pourrait cependant être renforcée : plus de la moitié des membres de l’équipe de suivi interrogés estiment que l’équipe chargée du risque de crédit n’est pas encore assez impliquée dans la supervision des projets.

Durant la supervision des projets publics et privés, la participation des spécialistes des questions environnementales et sociales demeure limitée, même lorsqu’elle est pertinented.

Présentation en temps utile des rapports de supervision

Les projets des secteurs social, agricole, de l’eau et de l’assainissement ont affiché une performance supérieure à la moyenne pour cet indicateur durant la période d’évaluation.

Retard moyen de 25 jours par rapport aux bonnes pratiques (les REE doivent être soumis dans les 30 jours suivant la mission sur le terrain ou l’étude documentaire) pour l’échantillon de 83 projets du secteur public. Les projets multisectoriels accusent les retards les plus longs (77 jours), suivis des transports (75 jours) et de l’électricité (56 jours).

Cet indicateur n’a pu être calculé pour les opérations du secteur privé

a L’évaluation a analysé 329 rapports de supervision des 83 projets publics de l’échantillon (2012–2017) et a constaté que la durée moyenne de la mission de supervision est de 8,2 jours pour 18 projets à problèmes, soit un peu plus que la moyenne de 7,7 jours pour les 29 missions relatives aux projets sans problèmes.

b En ce qui concerne les opérations du secteur privé, la fréquence de supervision des projets est déterminée par la note de risque de crédit et la complexité du projet, au moins une mission sur le terrain par an étant requise.c Équipe de supervision composée notamment du chef de projet, d’un expert fiduciaire et d’un autre expert sectoriel et/ou en questions transversales.d Les spécialistes des SES n’ont participé qu’à cinq missions de supervision sur le terrain des 32 projets publics de catégories 1 et 2 qui sont entrés en vigueur après 2012 et pour lesquels des rapports de supervision étaient

disponibles (ce qui représente 33 % de la catégorie 1 et 9 % du total de la catégorie 2 dans cet échantillon). Pour ce qui est des projets du secteur privé, ils ont participé aux missions relatives aux trois projets de catégorie 1 et n’ont pris part à aucune mission liée aux projets des catégories 2 et 4. Les experts en SES mettent en garde contre le potentiel risque de réputation lié aux projets de catégorie 2, qui sont systématiquement moins supervisés. Les précédentes revues de la Banque effectuées en 2014 ont aussi mis en garde contre le fait que les projets de catégorie 4 n’ont pas accordé suffisamment d’attention aux aspects environnementaux et sociaux. Les exigences de la Banque en matière de SES sont vagues au sujet de l’obligation, pour les experts en SES, de participer aux missions de supervision. Elles indiquent seulement que des spécialistes qualifiés des questions environnementales et sociales devraient être associés aux missions de supervision, tout en ajoutant aussi que cela est particulièrement important pour les projets à haut risque (généralement les projets de catégorie 1).

Source: A partir d’une revue des processus de 83 projets du secteur public et 38 projets du secteur privé, revue des aspects SES pour un sous-échantillon de 89 projets, d’entrevues et d’une enquête électronique.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

est déterminée par la note de risque de crédit et la complexité du projet, au moins une mission sur le terrain par an étant prévue. Conformément aux directives de la Banque, dans la mesure du possible, le chef de projet devrait être épaulé par divers spécialistes, selon la nature et le type de l’opération. Il importe de présenter en temps utile les rapports de supervision, pour que l’emprunteur puisse réagir rapidement et prendre les mesures qui s’imposent en temps voulu. Le tableau ci-après résume les constatations de l’évaluation sur la conformité à ces trois dimensions du cadre d’AQ.

En dépit des efforts déployés en faveur de l’établissement de rapports de supervision des projets du secteur public mieux axés sur les résultats, la Banque ne dispose pas d’un mécanisme lui permettant de s’assurer de la bonne application de la méthodologie. Le format de présentation des rapports et la méthode de notation des REE ont été conçus pour produire une évaluation objective et fondée sur des données probantes de la performance du projet. L’étude documentaire a cependant relevé des problèmes : évaluation de l’état d’avancement du projet (avancement de l’exécution et objectifs de développement) sur la base d’une interprétation subjective des indicateurs, et faible justification des notes pour les rendre crédibles (voir le Tableau 3). D’après les entretiens, le format de REE est en cours de révision en vue de mettre davantage l’accent sur les résultats.

Conformité au stade d’achèvement du projet

L’AQ au cours des dernières étapes du cycle de projet passe par la concertation avec l’emprunteur ou le client pour effectuer une auto-évaluation des résultats et des enseignements tirés (rapport d’achèvement) et pour assurer la soumission de toutes les justifications financières et d’audit et la clôture des comptes. Pour mener à bien ces missions d’achèvement des tâches, il convient de disposer de ressources suffisantes et d’un éventail approprié de compétences nécessaires au traitement de tous les sujets pertinents, des aspects techniques aux questions administratives et financières. L’évaluation a cependant relevé que,

comme c’est le cas à d’autres étapes du cycle de projet, une distinction n’est pas établie en fonction de la taille ou du type de projet pour l’affectation des ressources destinées aux missions d’achèvement.

La composition des équipes des missions d’achèvement n’est pas conforme à ce que prévoit le manuel de la Banque. Seuls 22 des 83 projets du secteur public de l’échantillon de l’évaluation avaient fini, et 14 parmi eux ont préparé un RAP (le reste des RAPs étaient encore attendus en juin 2018). Plus de la moitié (54 %) des personnes interrogées dans le cadre de l’enquête auprès du personnel chargé de l’évaluation ont estimé que la Banque n’avait pas mobilisé, pour les missions d’achèvement, une équipe possédant le bon éventail de qualifications. L’analyse de la composition des équipes des 14 missions d’achèvement a révélé que le profil de compétences est loin d’être celui recommandé dans le Manuel des opérations de la Banque. Cette question devrait être étudiée avec un échantillon plus large à l’avenir. Les visites dans les pays ont confirmé que la participation des équipes fiduciaires à l’étape de l’achèvement est limitée. Il s’agit là d’une importante occasion manquée de tirer des enseignements spécifiques sur les problèmes de décaissement. L’évaluation n’a pas pu valider les informations relatives à la conformité à l’audit à la sortie et à la clôture des comptes du projet.

Le respect des délais de présentation des RAP s’est détérioré durant la période d’évaluation, mais des efforts ont été déployés récemment pour soumettre les rapports en souffrance. Un RAP est attendu six mois après l’achèvement de toutes les activités et peut être amorcé après l’atteinte d’un taux d’exécution de 85 %. L’évaluation a comparé le nombre de RAP à mettre au point durant une année donnée (RAP dus) au nombre de RAP terminés (RAP réels) pour l’ensemble du portefeuille de la Banque et a constaté une détérioration considérable du respect des délais de présentation des RAP (de 100 % des RAP présentés à temps en 2013 à 44 % des RAP soumis avec retard en 2017, ayant comme cible 90 %). L’évaluation a toutefois noté qu’un grand nombre de RAP ont été achevés récemment.

Phot

o: ©

BAD


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

L’évaluation n’a pas pu trouver de données sur la présentation en temps voulu des rapports de supervision élargi (RSE), mais l’étude documentaire a souligné d’autres difficultés liées au choix du moment d’élaboration du RSE. Les directives stipulent qu’un RSE unique est requis une fois qu’un projet atteint sa maturité opérationnelle, généralement trois ou quatre ans après le décaissement en ce qui concerne les opérations non financières et dans les 18 à 24 mois pour ce qui est des opérations financières. L’évaluation a relevé que le calendrier des RSE n’est pas toujours bien choisi pour garantir la disponibilité des données relatives aux objectifs de développement (30 % de l’échantillon ont été élaborés trop tôt et n’ont pu rendre compte des objectifs de développement).

Cette analyse devrait être confirmée avec un plus grand échantillon.

Facteurs clés ayant facilité ou entravé la mise en œuvre des processus d’AQ

Comment le contexte pays et les mécanismes de mise en œuvre des projets interagissent-ils avec le cadre d’AQ de la Banque ?

Le cadre d’AQ de la Banque reconnaît que la responsabilité principale de la qualité de la conception et de la mise en œuvre incombe à l’emprunteur. La BAD est chargée d’assurer la QàE des projets (bonne qualité de la conception des projets et de leur état de préparation à la mise en œuvre) et d’appuyer les

Tableau 3 : Candeur des rapports de supervision en tant qu’indicateur indirect de la qualité de la supervision

Forces FaiblessesEn ce qui concerne les opérations du secteur public, d’après les réponses à l’enquête auprès des parties prenantes, 62 % des personnes interrogées estiment que le REE permet d’obtenir des notes de performance crédibles fondées sur des données probantes. 61 % des REE de 83 projets examinés sont conformes à la méthodologie d’évaluation de l’avancement de l’exécution et des objectifs de développementa. Cette revue a permis d’identifier trois bonnes pratiques en matière d’informations environnementales et sociales dans les REE des projets d’infrastructures (catégories 1 et 2).b Deux secteurs ont affiché une performance supérieure à la moyenne pour la qualité de la justification des notes environnementales et sociales dans les REE : l’électricité (où 90 % des REE examinés ont obtenu des résultats satisfaisants) et les transports (80 % des REE disponibles contiennent une bonne justification des notes environnementales et sociales). Les secteurs agricole et de l’eau et de l’assainissement ne comptaient que 40 % et 50 % des REE ayant une justification suffisante pour les 10 et 9 projets de l’échantillon, respectivement.

Très peu de projets (15 %) ont adopté la méthode de classification des projets. Seuls 28 % des projets de l’échantillon ont obtenu des notes de REE crédibles (bien justifiées). L’évaluation a jugé mal justifiées les notes environnementales et sociales de 57 % des projets publics de catégorie 2, mais a estimé plus crédibles les notes des projets ayant le plus d’impact (12 projets de catégorie 1).

S’agissant des ONS, la crédibilité de la note de l’état d’avancement de la mise en œuvre a été jugée satisfaisante pour l’échantillon de 22 projets (60 %).

La note des objectifs de développement était la moins crédible, en ce qui concerne particulièrement les projets financiers. Les revues ont établi que les rapports sur l’état d’avancement des projets contenaient beaucoup moins d’informations que les comptes rendus des missions de supervision correspondantes. Il a toutefois été constaté que la qualité et la profondeur de l’analyse des comptes rendus de mission variaient considérablement d’un projet à l’autre. Le rapport sur l’état d’avancement des projets ne contient pas d’autres explications sur la note environnementale et sociale ou le niveau des progrès de la mise en œuvre des mesures d’atténuation.

a La méthode de notation des REAE n’utilise à juste titre aucune formule fondée sur une pondération établie à l’avance et appliquée à des produits individuels. Il revient donc au chef de projet de décider du poids à accorder à chacun des produits et/ou des composantes du projet.

b Un projet hydroélectrique au Cameroun, comprenant des informations détaillées sur les progrès accomplis en vue de remplir les conditions environnementales et sociales des prêts individuels ; un projet d’énergie solaire au Maroc, résumant les résultats des audits environnementaux externes, comme l’avancement de la mise en œuvre des mesures d’atténuation environnementale et la minimisation des accidents du travail ; et un projet de routes rurales au Sénégal, comportant des étapes claires de la mise en œuvre du plan de gestion environnementale et sociale.

Source: Sur la base d’une validation sur dossier effectuée par des experts externes de 45 projets du secteur public et 22 projets du secteur privé, revue des aspects SES pour un sous-échantillon de 89 projets, d’entrevues et d’une enquête en ligne.


emprunteurs durant la mise en œuvre (identification et résolution proactives des risques en vue de garantir l’atteinte de l’objectif de développement du projet, notamment en permettant de bien établir des rapports sur les résultats et dégager les enseignements retenus). La QàE et la qualité de la supervision sont toutes deux probabilistes par nature. Une intervention risque toujours de ne pas atteindre ses résultats escomptés en dépit d’une bonne QàE et d’une bonne qualité de la supervision si le contexte de mise en œuvre est défavorable.

Autant les publications que les parties prenantes interrogées dans le cadre de la présente évaluation soulignent l’importance de divers facteurs qui influent sur la probabilité d’atteindre les résultats escomptés, peu importe l’AQ effectué par la Banque tout au long du cycle de projet. Ces facteurs sont liés, entre autres, à la capacité des emprunteurs à préparer et à mettre en œuvre des projets, au niveau de fragilité du pays, aux exigences réglementaires, juridiques et en matière de licences comme les mécanismes nationaux d’indemnisation des PAP, et la capacité des entrepreneurs actifs dans les PMR. Les facteurs particulièrement pertinents pour les projets du secteur public sont notamment les processus parlementaires associés à l’approbation des prêts et la capacité de hiérarchiser, de préparer, de financer et de mettre en œuvre des projets au niveau central, y compris les processus de passation de marchés. La section ci-après résume quelques-uns des problèmes identifiés dans le sous-échantillon de projets des cinq pays visités aux fins de l’évaluation (Cameroun, Kenya, Maroc, Sénégal et Zimbabwe).

Capacité des PMR à hiérarchiser, préparer et mettre en œuvre des projets et à mobiliser des fonds de contrepartie

Lors de la préparation et de l’évaluation, la Banque ne prend pas explicitement en compte les facteurs contextuels qui influencent la relation entre la QàE et l’avancement de la mise en œuvre des projets publics. L’évaluation a établi que les projets d’investissement public dans les

pays disposant, au niveau central, de capacités plus solides en matière d’identification, de préparation, d’évaluation, de hiérarchisation, de budgétisation et de mise en œuvre des projets sont davantage susceptibles d’atteindre le seuil fixé pour la note composite de QàE (meilleurs évaluabilité et état de préparation à la mise en œuvre lors de l’approbation).

Les pays et les emprunteurs visités affichaient différents niveaux de capacité à préparer des projets ayant le degré de maturité nécessaire avant de contacter la Banque à la recherche de financements. La meilleure performance a été constatée au Maroc, où divers promoteurs nationaux ont pu achever les études de faisabilité requises avant l’engagement de la Banque. Dans d’autres contextes, l’évaluation a relevé que la Banque et l’emprunteur financent couramment les études de faisabilité des phases ultérieures tout en mettant en œuvre une phase antérieure. Dans les situations de fragilité et d’urgence, comme au Zimbabwe après l’épidémie de choléra de 2008, la Banque a généralement travaillé avec un niveau d’information sous-optimal pour la préparation des projets.

La capacité de l’emprunteur à effectuer la passation des marchés anticipée et à préfinancer certaines activités clés avant l’approbation du prêt de la Banque constitue une autre dimension qui est importante pour assurer la mise en œuvre en temps voulu du projet. Cela est particulièrement important après la directive présidentielle 02/2015. Dans la pratique, un seul des cinq pays visités, le Maroc, a été à même de prendre systématiquement ces mesures avec un gain de temps considérable, tandis que l’expérience est mitigée au Cameroun et au Kenya. Dans certains pays, la réglementation nationale en matière de passation des marchés qui traite de l’approbation des offres au-delà d’un certain montant retarde la mise en œuvre, en dépit des efforts proactifs de la Banque pour s’attaquer à ce problème.

Même avec de bonnes procédures budgétaires, de solides capacités fiduciaires et de gestion au niveau central, et une cellule d’exécution de projet (CEP) expérimentée et bien dotée en


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

personnel, les projets publics peuvent encore rencontrer des difficultés de mise en œuvre liées à la situation macroéconomique du pays. L’évaluation a procédé à une analyse des documents d’évaluation et de supervision d’une vingtaine de projets dans les cinq pays visités et a constaté que, dans près de la moitié d’entre eux, les documents d’évaluation n’indiquaient pas clairement si les ressources nécessaires étaient inscrites au budget national lors de l’approbation. Les rapports de supervision de la Banque indiquent que ce risque s’est concrétisé dans cinq de ces neuf projets. Les entretiens avec les parties prenantes clés durant les missions dans les pays ont aussi mis en lumière ce problème, en particulier au Cameroun, au Kenya et au Sénégal. Les plafonds budgétaires potentiels fixés par les politiques de stabilité macroéconomique sont rarement pris en compte lors de la conception des projets. Les chefs de projet ont fait part à l’équipe d’évaluation de leurs difficultés à attirer l’attention de la haute Direction de la Banque sur le besoin de résoudre de manière proactive les problèmes liés à l’incapacité d’allouer les ressources de contrepartie en temps voulu, soit une question nécessitant un arbitrage de haut niveau avec les autorités nationales.

Exigences réglementaires et cadres institutionnels concernant l’indemnisation des personnes affectées par le projet (PAP)

Les questions d’acquisition des terres et de réinstallation ont été considérées comme un

goulet d’étranglement récurrent dans la mise en œuvre des grands projets d’infrastructures des secteurs public et privé financés par la Banque. L’évaluation a interrogé les emprunteurs de 11 grands projets d’infrastructures ayant déclenché la politique de réinstallation et d’indemnisation foncière de la Banque, et a constaté qu’il s’en est suivi des difficultés de mise en œuvre dans la plupart de ces projets (7 sur 11). Les bonnes pratiques recensées sont i) le recours à des équipes spécialisées de la CEP pour négocier et obtenir le consentement écrit des personnes affectées, et ii) l’établissement d’un mécanisme de réclamation pour résoudre les désaccords, en ce qui concerne les projets de catégories 1 et 2. Toutefois, même lorsque les emprunteurs se conforment aux exigences relatives aux SES, les défis liés à l’indemnisation ou à la réinstallation des personnes affectées par le projet ne sont pas facilement évitables dans des contextes complexes comme les régions à forte densité de population41. Dans d’autres cas, les cadres institutionnels nationaux d’indemnisation sont complexes et les procédures de mise en œuvre utilisées pour acheminer les ressources vers les PAP sont trop longues pour permettre de satisfaire efficacement aux exigences en matière de SES de la Banque (voir encadré 3).

Les ressources affectées par la Banque au traitement des questions environnementales et sociales sont concentrées au niveau des projets et trop limitées pour favoriser, en amont, l’amélioration et l’alignement des cadres des

Encadré 3 : Effets des procédures institutionnelles des PMR relatives à l’acquisition des terres et à la réinstallation sur le respect des délais de mise en œuvre des projets d’infrastructures financés par la Banque

Dans le cas d’un projet hydroélectrique au Cameroun portant notamment sur des lignes de transport et de distribution, le processus national d’indemnisation des PAP conformément à la législation applicable a pris plus de deux ans. Ce processus prévoyait la création d’une commission interministérielle de recensement et d’indemnisation des PAP, l’adoption du décret d’expropriation et d’indemnisation, l’adoption d’un décret de paiement et d’un arrêté régional portant création d’une commission chargée du paiement. Cela a été identifié dans les rapports de supervision de la Banque comme l’un des principaux obstacles à l’exécution des travaux, en dépit des efforts de la Banque pour accélérer le processus de détachement d’une personne-ressource aux services du Premier ministre. En outre, en raison de la longueur du processus allant de la conception à l’indemnisation réelle des PAP, l’on a du mal à veiller au respect des dates limites (date d’éligibilité à l’indemnisation ou à la compensation) et il est davantage difficile d’assurer le réalisme du budget d’indemnisation/de réinstallation prévu dans la conception du projet.


PMR, comme le recommandent les pratiques optimales établies à l’échelle internationale. L’un des objectifs du SSI approuvé par la Banque en 2013, ainsi que des bonnes pratiques internationales, est d’aider les emprunteurs et les clients à consolider leurs systèmes de sauvegardes afin de renforcer leur capacité à gérer les risques environnementaux et sociaux des projets. Les procédures de la Banque en matière de SES précisent les exigences auxquelles les emprunteurs doivent satisfaire dans le cadre de la gestion des questions liées à la relocalisation ou à la réinstallation involontaire, et à l’indemnisation pour perte d’actifs ou de sources de revenu découlant de projets financés par la Banque42. Ces exigences sont appliquées uniformément dans tous les PMR. En 2015, la Banque a procédé à une analyse de l’équivalence des cadres juridiques de six pays — dont le Maroc et le Cameroun — par rapport aux exigences de la Banque. En ce qui concerne l’acquisition des terres et la réinstallation, les cadres des deux pays ont été jugés partiellement équivalents aux exigences de la Banque en matière de sauvegardes43. Les informateurs clés ont relevé deux problèmes qui brident l’aptitude de SNSC à tirer parti des constatations de l’étude de 2015 : i) le faible niveau des effectifs et ii) le fait que les spécialistes se concentrent principalement sur la classification environnementale et sociale et l’évaluation des projets individuels. D’autres institutions de référence, comme la Banque mondiale, aident les pays à élaborer un système national de SES et à renforcer leurs capacités nationales pour faire en sorte d’améliorer l’efficacité de la mise en œuvre des projets.

Capacité des emprunteurs à suivre et à mettre en œuvre les projets

Les capacités des emprunteurs en matière de mise en œuvre et de suivi de l’avancement des projets influent grandement sur leur performance, dans la mesure où le cadre d’AQ de la Banque vise uniquement à les appuyer. L’analyse du cadre de suivi de la performance de

45 projets du secteur public a montré que la plupart d’entre eux (75 %) sont satisfaisants, même si ce cadre varie considérablement d’un projet à l’autre. Quelques-uns des défis auxquels sont confrontés les emprunteurs ont trait aux difficultés de recrutement (et de rétention) des experts en questions environnementales et sociales. Les capacités de suivi, d’évaluation et d’établissement de rapports des clients pour ce qui est des projets du secteur financier se sont révélées nettement pires que celles concernant les projets non financiers, d’après la revue documentaire de 22 projets du secteur privé. L’évaluation a par ailleurs établi que l’interface avec les clients du secteur privé n’a pas été idéale dans bien des projets, en ce qui concerne particulièrement l’appui aux clients pour l’établissement de rapports sur les résultats.

Les outils d’AQ existants n’évaluent pas systématiquement ces facteurs externes lors de l’approbation et ne suivent pas leurs effets sur l’efficacité du projet. Cela nuit à la capacité de la Banque à déterminer la nécessité de fournir un appui supplémentaire pour la préparation et la mise en œuvre des projets, tant au niveau de l’emprunteur/du client que de l’environnement favorable du pays. De plus, d’autres facteurs institutionnels sont importants pour assurer le fonctionnement optimal du système d’AQ de la Banque. Ils sont résumés dans la section ci-après.

La Banque possède-t-elle un environnement favorable à la qualité ?

La présente section examine les constatations relatives aux facteurs institutionnels qui ont facilité ou entravé la mise en œuvre systématique du cadre d’AQ tel que conçu et qui favorisent ou compromettent son institutionnalisation. Ces facteurs ont trait à la disponibilité des ressources financières destinées à améliorer la qualité des opérations, de la formation et de la dotation en personnel ; à la gouvernance du cadre d’AQ, eu égard notamment aux rôles, aux responsabilités et à la gestion des données ; et à la


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

culture organisationnelle et aux incitatifs. L’institution a connu deux événements majeurs qui ont pu influer aussi sur la création d’un environnement propice à la qualité des opérations. D’une part, la Banque a perdu 7 % de son personnel entre 2013 et 2018, en partie en raison du déménagement du siège de Tunis à Abidjan44. D’autre part, l’évolution constante du DBDM depuis 2015 s’inscrit dans le cadre d’une période transitoire durant laquelle les processus, les entités chargées des revues et la délégation de pouvoirs font l’objet d’une révision.

Ressources financières, formation, orientations et dotation en personnel

Ressources pour la préparation, la supervision et l’achèvement de projets

Il est ressorti de l’évaluation que la Banque n’utilisait qu’un nombre limité de fonds destinés à la préparation des projets, pour promouvoir l’état de préparation des projets qu’elle finance. La Banque a approuvé un volume moins important de facilités de préparation dans la région africaine (soit un montant de 102,99 millions d’UC entre 2013 et 2017)45 que la Banque mondiale – sur une période plus courte (131,4 millions d’UC entre fin 2014 et fin 2016)46. Parmi les facteurs qui expliquent ce taux d’utilisation relativement faible, on peut citer : i) le fait que les chefs de projet ne connaissent pas très bien les facilités qui existent ; et ii la disponibilité relativement limitée des fonds. En outre, les parties prenantes ont estimé que l’allocation maximale attribuée au titre de la Facilité de financement de la préparation des projets (FPP) n’est guère suffisante pour préparer des projets d’infrastructure complexes.

Les fonds disponibles pour le compte de la FPP et de l’assistance technique ne sont pas utilisés stratégiquement pour mener à bien des études clés visant à constituer la réserve de projets de la Banque ou à renforcer la capacité des pays et des emprunteurs à préparer puis exécuter des projets, le cas échéant. Le décaissement de fonds destinés à la préparation de projets est parfois rendu

difficile par les procédures administratives, qui sont analogues à celles que l’on utilise pour les projets. La mise en place d’un processus d’approbation efficace s’est avérée difficile pour la FPP, car on a enregistré des retards importants dans la préparation de la lettre d’accord47. De même, il est ressorti de l’évaluation que les études économiques sectorielles (EES) ont été très peu utilisées pour éclairer la préparation des projets (en effet, seuls neuf projets sur l’échantillon de 85 projets d’investissement approuvés pour la période 2013–2017 font référence à de telles études).

Pour les opérations non souveraines, l’assistance technique n’a pas été mise à contribution de façon optimale pour atténuer les risques de gouvernance encourus par les clients. Cette pratique est largement usitée par le Programme panafricain des petites et moyennes entreprises pour renforcer les processus de gestion du risque de crédit et les contrôles internes chez les emprunteurs. Toutefois, les fonds alloués aux institutions financières dans le but de rationaliser leurs systèmes de gouvernance et d’améliorer les prêts aux PME ont été très limités, comme les chargés des investissements l’ont d’ailleurs confirmé. Qui plus est, une assistance technique a été apportée aux institutions financières avant le décaissement des fonds. Il a été noté que le suivi portait essentiellement sur le décaissement et la production de rapports plutôt que sur la façon de mettre en application les nouvelles compétences, les nouveaux systèmes et les nouvelles politiques. D’autres institutions de référence telles que la SFI évaluent la gouvernance institutionnelle des emprunteurs en se servant d’un modèle de maturité, et conditionnent le soutien financier futur à la mise en œuvre de réformes clés.

L’effet de levier moyen des fonds de préparation n’a pas été optimal, lorsqu’on le compare à celui des institutions de référence. La Banque mondiale par exemple étend l’utilisation des facilités de préparation au-delà de la simple préparation de projets individuels afin de relever les défis liés à la capacité des pays à assurer la préparation des projets et la constitution de réserves. La disposition


relative au remboursement a été modifiée de la façon similaire pour encourager l’utilisation de cette facilité : i) en permettant le remboursement des FPP sur tout prêt en cours ; et ii) en dérogeant au remboursement des FPP qui n’induisent pas un nouveau projet si le pays emprunteur fait face à un risque élevé de surendettement.

L’évaluation a mis en évidence des informations incohérentes et peu fiables sur l’établissement du budget alloué aux activités de préparation et de supervision. D’autres institutions de référence utilisent des normes applicables au temps de préparation et aux ressources, en fonction de facteurs tels que la complexité du projet, le contexte pays, le secteur et le dispositif de financement retenu. Le manque d’estimations confirmées concernant les coûts de supervision laisse supposer l’existence probable d’une inadéquation entre les besoins en ressources et la disponibilité de ces ressources. Lors des consultations avec les parties prenantes, la mauvaise planification et la coordination insuffisante entre les équipes de supervision ont été identifiées comme des entraves aux opérations du secteur public.

Formation et dotation en personnel

En ce qui concerne la capacité, les personnes interrogées lors des entretiens et de l’enquête déplorent l’inadéquation et le manque de normalisation de la formation dispensée aux chefs de projet et aux agents du secteur privé pour les aider à s’acquitter de leur rôle. La plupart des personnes interrogées considèrent que la formation n’est pas adaptée pour la supervision et l’achèvement des projets (54 % et 63 %, respectivement). En effet, la formation porte notamment sur la gestion de projet et sur des questions transversales telles que les composantes environnementales et sociales48. La Banque a récemment enrôlé un grand nombre de nouveaux membres du personnel. Le besoin de formation se fait particulièrement ressentir pour ces nouvelles recrues. Malgré les efforts déployés pour mettre sur pied une « Académie de chefs de projet », il n’existe pas de mécanismes officiels concourant

au renforcement de la capacité du personnel (ancien comme nouveau) à gérer des projets tout au long de leur cycle. Cependant, des initiatives ont été lancées pour encadrer les chargés des investissements et améliorer la capacité du personnel à préparer et gérer des opérations non souveraines49. SNOQ apporte aussi un certain appui au personnel pour améliorer la qualité à l’entrée. L’académie des chefs de projet, qui propose une formation obligatoire pour tous les chefs de la Banque mondiale, pourrait servir de source d’inspiration à la Banque pour concevoir une formation systématique du personnel englobant l’application de l’accréditation des chefs de projet à l’aide du système SAP. Ainsi, le personnel non accrédité ne pourra pas être formellement affecté à un projet en qualité de chef de ce projet.

La majorité du personnel chargé des opérations et la plupart des fonctionnaires chargés de soutenir le cadre de contrôle qualité à la Banque ont déclaré lors des entretiens qu’ils étaient « surchargés » et incapables de consacrer le temps nécessaire à la production d’un travail de qualité. La Banque affiche un ratio projet/chef de projet élevé par rapport aux institutions de référence. Si, à la BAD, un chef de projet gérait en moyenne 3,4 projets en 2017 (aussi bien pour la préparation que pour la supervision des projets)50, la Banque mondiale et la BID ont rapporté des chiffres inférieurs, soit un à deux projets par chef de projet. Cette moyenne varie nettement d’un secteur et d’une région à l’autre, certains chefs de projet indiquant gérer jusqu’à 10 projets par an, et la majorité des chefs de projet avançant le chiffre de un à cinq projets51. Trente pour cent des chefs de projet qui ont répondu à l’enquête menée par IDEV auprès du personnel ont déclaré gérer plus de cinq projets. Le ratio est en hausse par rapport à 2013, lorsqu’il était de 2,7 projets. Le nombre de chefs de projet est resté stable ces cinq dernières années, autour de 300. La Direction estime que, depuis 2010, les chefs de projet ont préparé en moyenne 0,5 nouveau projet par an. Cet état de chose impose une contrainte de temps importante au personnel et représente un risque qualitatif concernant aussi bien la qualité du retour d’information fourni par les membres du


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

personnel dans les divers examens de la qualité à l’entrée que celle de la gestion proactive de leurs propres opérations.

L’évaluation a corroboré les conclusions de l’auto-évaluation réalisée en 2016, « Revue des ONS de la BAD »52, qui a identifié le nombre insuffisant de chargés des investissements comme un facteur limitant la qualité de la préparation, notamment pour stimuler la croissance prévue des opérations du secteur privé. La Banque a fait état d’une moyenne de deux à trois opérations par chargé des investissements. Il est également ressorti de l’évaluation que des équipes sollicitées au-delà de leurs capacités réelles supervisent de nombreuses opérations à la fois. À l’heure actuelle, chaque chargé de portefeuille couvre en moyenne 9,5 projets, jusqu’à un plafond de 15 projets par chargé de portefeuille53. En outre, les entretiens ont révélé que le niveau d’expérience des chargés des investissements ne leur permet pas toujours de faire face efficacement à la complexité des projets.

Les consultations avec les parties prenantes ont mis en évidence un chaînon manquant persistant entre les chargés des investissements qui initient des projets du secteur privé et les chargés de portefeuille qui s’occupent du suivi et de la supervision de tels projets. La revue des rapports de supervision établis pour 38 projets portés par le secteur privé a montré que les chargés de portefeuille changeaient fréquemment. Les personnes interrogées ont indiqué que ce roulement crée un manque de communication avec les clients, lié particulièrement aux processus déficients de transfert des responsabilités entre chargés d’investissement et chargés de portefeuille, un transfert qui s’accompagne de retards dans la majorité des cas. Récemment, la Banque a pris des mesures pour remédier à la discontinuité dans le cycle des projets relatifs aux opérations non souveraines. S’il est trop tôt pour évaluer ces changements récents, il reste possible de définir clairement les rôles et les responsabilités, ainsi que les contrôles de la qualité et les liens hiérarchiques entre les équipes de suivi du portefeuille au niveau du

guichet du secteur privé et les chargés de suivi du portefeuille dans les départements sectoriels.

Les membres du personnel œuvrant en appui aux projets dans l’écosystème du contrôle de la qualité à la Banque, tels que les spécialistes des risques et juridiques, l’équipe chargée de l’ADOA, le personnel fiduciaire et les experts des sauvegardes environnementales et sociales, sont également en nombre limité pour être en adéquation avec la croissance du portefeuille. La disponibilité d’experts n’est pas proportionnelle à la croissance du portefeuille. À titre d’illustration, le ratio des projets actifs par spécialiste de la passation des marchés est passé de 20,5 projets en 2015 à 22,75 projets en 2017, d’après les données de la Banque. Cette statistique a été confirmée par les entretiens avec les institutions de référence, qui ont montré que la Banque affecte moins de personnel permanent à ces fonctions que les institutions de référence, au regard du nombre de projets approuvés chaque année54. Les entretiens avec les experts fiduciaires de la Banque ont aussi mis en lumière les difficultés à coordonner le temps des missions de supervision afin d’assurer la participation de ces experts.

Pour les ONS, on constate une inadéquation entre le risque de crédit et les fonctions juridiques, à tel point que les conditions préalables recommandées par le chargé du risque de crédit ne sont pas toujours prises en compte dans l’accord de prêt. Cette inadéquation est pertinente pour la qualité à l’entrée, car le nombre de risques de crédit non atténués constitue un indicateur prévisionnel important de résultats négatifs. Les chargés de risque de crédit ne sont pas toujours impliqués dans la finalisation des accords de prêt ni dans la décision de déroger aux conditions. Il n’a pas été possible de confirmer cette conclusion par l’analyse de l’échantillon de projets en raison du manque d’accès à l’accord sur les conditions communes.

Les entretiens et les documents examinés laissent supposer que la fonction d’appui aux


sauvegardes environnementales et sociales à la Banque manque cruellement de ressources et que les niveaux de dotation en personnel sont inférieurs à ceux des institutions de référence. Si 20 membres du personnel s’occupaient des SES en 2013, en 2017, ce nombre avait été réduit à 15 personnes (cinq spécialistes des sauvegardes sociales et 10 spécialistes des sauvegardes environnementales). Les entretiens avec les institutions de référence font ressortir que ces institutions travaillent avec un plus grand nombre de spécialistes dans ce domaine, tout en réquisitionnant un plus grand nombre de consultants externes et d’équipes différenciées pour faire face aux risques environnementaux et sociaux posés par les opérations des secteurs public et privé55. Les données sur la catégorisation environnementale et sociale des projets montrent en outre que plus de projets à risque sur le double plan environnemental et social (catégories 1 et 2) entrent dans le portefeuille. D’après les estimations récentes de SNSC, environ 72 % du portefeuille actuel est à haut risque56.

La part du personnel des opérations décentralisé et la proportion des projets gérés par les bureaux extérieurs ont augmenté, mais ils ne disposent pas encore d’effectifs complets et ne bénéficient pas d’une délégation de pouvoirs suffisante. La décentralisation des activités de la Banque au plus près des pays membres régionaux vise notamment à améliorer la qualité de la supervision, telle que celle-ci est pratiquée par les autres institutions de référence. La proportion du personnel des opérations basé dans les bureaux extérieurs et les centres régionaux est passée de 39 % en 2013 à 58 % en 2017, selon la revue du budget et des résultats pour 2017. De la même façon, la proportion des projets gérés par les bureaux extérieurs est passée de 50 % à 76 % sur la même période57. Il ressort des évaluations précédentes58, confirmées par les entretiens menés dans le cadre de la présente évaluation, que la décentralisation effective est entravée par l’inadéquation de la délégation de pouvoirs et par le fait que les bureaux extérieurs manquent d’autonomie. En 2018, tous les bureaux extérieurs ne sont pas dotés de l’effectif complet

dont ils ont besoin pour couvrir leur portefeuille et ne disposent pas de l’autorité nécessaire pour gérer certaines questions inhérentes à la mise en œuvre du portefeuille. Le niveau d’approbation est encore assez centralisé au niveau du Siège, ce qui crée des goulets d’étranglement et des retards dans le traitement des demandes formulées par la clientèle. La nouvelle matrice de délégation des pouvoirs approuvée en 2018 devrait permettre de remédier à cette situation.

Questions de gouvernance affectant l’efficacité du cadre de contrôle qualité

Trois facteurs clés, à savoir l’indépendance, la contestabilité et la vérification, ont été identifiés comme importants pour garantir l’efficacité des processus de contrôle qualité. Le cadre actuel de contrôle qualité de la Banque ne prévoit pas une revue indépendante des projets, surtout lorsqu’il s’agit des opérations du secteur public. Il n’existe pas de directives claires permettant d’assurer une participation élargie des différentes composantes de l’organisation pour améliorer la qualité des opérations. Les mécanismes de responsabilisation institués afin de vérifier si les ressources apportées sont intégrées pour améliorer les opérations ne donnent pas entière satisfaction.

La Banque ne dispose pas d’un groupe indépendant qui fournit un retour d’information et des conseils sur la qualité des projets avant leur approbation, comme le font quelques des institutions de référence (Fonds international de développement agricole – FIDA, Banque mondiale et Banque interaméricaine de développement – BID)59. SNOQ est uniquement le gardien des normes de qualité60. La revue de l’état de préparation (REP) a été déléguée aux chargés de programme pays et aux économistes-pays en 2015, ce qui signifie que la Banque ne dispose plus d’un moyen par lequel elle peut recueillir un retour d’information et des conseils indépendants sur la qualité de ses opérations. Plusieurs intervenants ont fait observer que la qualité et


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

l’utilité de la revue de l’état de préparation ont baissé depuis que cette délégation a été accordée. Ces données ont été corroborées par le retour d’information recueilli auprès des chefs de projet. Qui plus est, seulement 10 % des chefs de projet ayant répondu à l’enquête ont identifié la revue de l’état de préparation comme le mécanisme de contrôle de la qualité qui ajoute le plus de valeur à la préparation des projets.

D’après les entretiens, les changements institutionnels récents peuvent avoir réduit l’indépendance et l’application des dimensions environnementale et sociale dans la conception de projet pendant la revue de l’état de préparation. En 2016, la fonction des normes environnementales et sociales a été centralisée dans le même département (SNSC). Auparavant, des équipes dédiées aux questions environnementales et sociales dans les départements des opérations sectorielles s’occupaient d’intégrer les normes environnementales et sociales et les vérifications préalables (à savoir la catégorisation des projets sur le double plan environnemental et social et la revue de la qualité des études EES), alors que le Département du contrôle de la qualité et des résultats (ORQR3) était chargé de la conformité. Le fait que ces deux fonctions aient été fusionnées dans SNSC peut avoir diminué les contrôles de conformité.

Les parties prenantes des institutions de référence ont souligné l’importance de la contestabilité en ce qui concerne la mesure dans laquelle les acteurs non impliqués dans la préparation d’une opération proposée participent à sa revue et à son approbation. Le FIDA et la BID encouragent une participation large et transversale aux réunions de décision, y compris la participation de hauts représentants d’autres divisions thématiques et sectorielles. Pour les projets de la Banque, les revues des réunions de décision impliquent généralement des personnes travaillant dans le même pays ou dans le même secteur que l’opération proposée, à moins qu’une revue par OPSCOM ne soit nécessaire. En revanche, le processus d’approbation qui avait cours à la Banque avant l’introduction de la Directive présidentielle

n° 03/2013 consistait en un groupe de travail interdépartemental (GTI) à composition élargie présidé par le directeur d’un département distinct de celui qui a proposé l’opération à la validation. Cet aménagement a garanti un meilleur niveau de contestabilité.

Les chefs de projet sont responsables de la supervision des projets, mais il importe de renforcer l’appui qu’ils reçoivent des autres membres du personnel de la Banque dans le cadre d’une approche d’équipe multidisciplinaire. D’après les témoignages de certains chefs de projet, il existe des cas où l’on observe un manque apparent de responsabilité partagée au sein des membres de l’équipe multidisciplinaire impliquée dans les missions de supervision. Par exemple, s’agissant des opérations du secteur public, la pratique qui consiste à déterminer collectivement les notes des REE relève plus de l’exception que de la règle. Dans les institutions de référence, les experts fiduciaires et des questions environnementales et sociales remplissent les sections portant sur ces aspects dans les rapports de supervision et valident la notation de ces dimensions61.

L’appui aux missions de supervision à la Banque n’est pas comparable à celui que l’on observe dans des institutions de référence, où des processus d’« amélioration de la qualité » ont été mis en place. Les institutions de référence ont institué des plateformes et alloué des budgets additionnels afin d’aider les équipes à gérer des projets complexes, avec le concours d’experts techniques et fiduciaires expérimentés, le but étant d’aider les chefs de projet à surmonter collectivement les problèmes rencontrés. L’équipe d’appui à la mise en œuvre de la supervision au FIDA appuie également les équipes qui s’occupent de projets risqués et complexes. Cependant, l’initiative Agile de la Banque mondiale remplit une fonction identique, même si son rayon d’action reste limité à l’accompagnement sur des projets complexes et à la fourniture de solutions réalistes dès l’approbation des projets, en fonction de leur profil de risque.

Phot

o: ©

BAD


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

La collaboration avec les clients et l’établissement de rapports crédibles sur les résultats, ainsi que les leçons tirées au cours de l’achèvement restent faibles et ne suivent pas les meilleures pratiques applicables. La préparation des rapports d’achèvement de projet devrait être entreprise par l’emprunteur, avec le concours de la Banque. Plusieurs personnes interrogées ont reconnu avoir confié cette tâche à des équipes indépendantes externes. Des institutions de référence comme la Banque interaméricaine de développement encouragent une collaboration accrue avec l’emprunteur ou le client lors d’un atelier de clôture au cours duquel un rapport d’achèvement de projet intérimaire est examiné. Elles profitent aussi de cet atelier pour obtenir des contributions et autres commentaires des gouvernements qui enrichiront le document lors de sa finalisation.

Dans toutes les opérations souveraines comme non souveraines, la Banque ne possède pas un moyen systématique permettant de vérifier que le retour d’information sur la qualité à l’entrée est intégré ou traité de façon vérifiable. Par exemple, l’évaluation a montré que moins de la moitié des commentaires formulés dans diverses revues sont intégrés ou traités de façon vérifiable62. Les chefs de projet doivent soumettre une matrice ou une « liste des problèmes liés au projet » qui indique comment le retour d’information des divers processus d’examen a été pris en compte avant la validation du projet. Toutefois, la qualité de l’information fournie est variable et l’on ne peut pas dire avec certitude que le contenu de cette information a été soumis à une vérification systématique. Actuellement, la Banque vérifie uniquement la prise en compte du retour d’information recueilli pour les projets présentés à OPSCOM. Cette vérification ne concerne qu’une faible proportion des opérations approuvées chaque année. Les institutions de référence ont institué des processus pour régler ce problème. Au FIDA, le Groupe de contrôle de la qualité procède à une revue documentaire pour s’assurer que tous les amendements demandés lors des réunions

de décision ont été appliqués avant d’indiquer si l’opération doit être ou non autorisée. À la BID, les chefs de projet sont invités à soumettre une proposition actualisée de développement opérationnel pour une période de non-objection de deux jours après la réunion de revue des risques pour la qualité.

Le contrôle de la qualité des REE montre insuffisances par rapport à la révision et validation de la part du chef de division sectoriel. Dans le système de supervision actuel de la Banque, les REE préparés après une mission sur le terrain ou une revue documentaire devraient être examinés et approuvés par le supérieur hiérarchique63. Seuls 73 % des 358 REE analysés dans le cadre de l’évaluation ont été validés. L’évaluation a révélé que le pourcentage le plus élevé des REE validés par la Haute direction concerne des opérations dans les secteurs agricole, social et des transports. La revue d’un échantillon de missions de supervision effectuées de 2013 à 2017 pour 83 projets du secteur public a révélé une diminution dans la proportion des REE soumis et approuvés par les chefs de division sectoriels, qui est passée de 77 % à 45 %, alors que la norme est de 100 %. L’évaluation a révélé que le contrôle de la qualité avait perdu en efficacité et que la direction n’approuvait pas dans les délais prévus les résultats des missions de supervision. Dans les institutions de référence, les responsables de programme pays vérifient la validité de la justification fournie dans le rapport. Pour sa part, la BID s’est dotée d’un système intégré d’examen indépendant, une sorte d’équivalent du REE servant au suivi des projets et à la présentation de rapports (avec pour sigle PMR), qui requiert des validations à deux niveaux pour améliorer la sincérité et le réalisme dans l’établissement de rapports.

Les parties prenantes interrogées ont mis en relief l’efficacité limitée des mesures correctrices contenues dans les aide-mémoires signés conjointement avec le gouvernement. Un examen plus approfondi des problèmes soulevés et des mesures recommandées par les chefs de division sectoriels pour y remédier constitue un moyen d’aider


les chefs de projet à régler ces problèmes dans les délais. Les parties prenantes ont confirmé que la Flashlight du portefeuille et le tableau de bord du contrôle de la qualité introduits récemment sont des outils utiles qui permettent de déterminer quels sont les projets à risque. De la même façon, les revues de la performance des portefeuilles pays sont bien supervisées par la Haute Direction. L’introduction récente de réunions mensuelles de supervision des opérations aura également été une bonne mesure d’assainissement du portefeuille. Toutefois, ces outils ne devraient pas se substituer à la nécessité de superviser les projets individuels et d’assurer le suivi des questions primordiales64.

La supervision des opérations non souveraines fait l’objet d’une vérification supplémentaire visant à appuyer le chargé de portefeuille, mais la structure hiérarchique devrait être clarifiée. Au cours de la mise en œuvre des ONS, les chargés de portefeuille déterminent les principaux défis à relever dans leurs comptes rendus de fin de mission, qui sont transmis à l’équipe chargée du risque de crédit pour contrôle, le cas échéant. Auparavant, les PSR étaient validés par les gestionnaires de portefeuille et les secteurs de la Banque. Les personnes interrogées affirment que les liens hiérarchiques ne sont plus clairs depuis le début de la période de transition en cours. L’évaluation a montré d’une part que l’implication des chefs de division sectoriels pendant la supervision des ONS est plus dictée par la situation que proactive, et d’autre part que l’on accorde une attention excessive aux projets signalés. En outre, les personnes interrogées ont indiqué qu’il serait avisé d’impliquer davantage les équipes qui initient les projets dans la supervision, ou tout au moins de les informer des problèmes rencontrés au cours de l’exécution.

Les meilleures pratiques adoptées par les institutions de référence recommandent de valider tous les rapports de supervision et d’achèvement et d’en divulguer au moins certaines sections au grand public, ce que la BAD n’a pas fait de façon systématique. La Banque mondiale, la BID et le FIDA appliquent cette pratique comme un moyen d’inciter

les hauts responsables à procéder aux vérifications nécessaires, en s’assurant au demeurant que les versions validées sont bien stockées dans une base de données commune. La revue 2016 de la mise en œuvre de la politique de la Banque en matière de publication et d’accès à l’information (DAI) a fait ressortir la nécessité de veiller à ce que les pays se conforment pleinement à ces obligations. La DAI comprend la diffusion proactive des rapports de supervision ou d’activité, des aide-mémoires et des rapports d’achèvement de projet65.

Incitations et culture organisationnelle

En ce moment, les indicateurs de performance clés (KPI) sont liés aux approbations et au décaissement et génèrent des incitations contradictoires pour le personnel de la Banque en posant des défis liés à la qualité des opérations. La quasi-totalité des parties prenantes ont relevé l’importance des incitations pour assurer la qualité des projets, particulièrement en ce qui concerne l’atteinte des résultats. Les parties prenantes ont noté que les KPI existants favorisent les approbations par rapport aux conceptions de qualité et les décaissements par rapport à l’atteinte de l’objectif en matière de développement, ainsi que la prise en compte des principaux enseignements. Les réponses obtenues à l’issue de l’enquête auprès du personnel indiquent que 54 % sont d’avis que les indicateurs de performance clés énoncés par la Banque accordent plus d’importance à l’approbation des projets qu’à leur supervision, alors que seulement 45 % des personnes interrogées estiment que le cadre institutionnel de la Banque et les incitations offertes à son personnel sont propices à l’établissement de rapports reposant sur des éléments factuels et à l’attribution de notes crédibles sur la performance des projets. Toutes les parties prenantes interrogées ont fait état de pressions très fortes pour que les projets soient présentés au Conseil d’administration afin d’atteindre les objectifs annuels fixés en matière de prêts. Ce phénomène se traduit par une accumulation de projets dont l’approbation est prévue à la fin de l’année civile, appelée « forte


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

concentration ». L’évaluation a prouvé sur le plan statistique que la moitié des projets d’investissement dans l’échantillon ont été approuvés au quatrième trimestre et se caractérisent donc par une qualité à l’entrée nettement inférieure et, partant, par une probabilité moins forte d’atteindre leurs résultats66.

Des préoccupations ont aussi été exprimées quant à la volonté de la Direction de « recaler des projets » lorsque ceux-ci accusent des déficits de qualité évidents, particulièrement en ce qui concerne les opérations du secteur public. Au total, 55 % des chefs de projet et 43 % des CPP ont convenu que les projets qui ne s’avèrent pas d’une bonne qualité à l’entrée ne sont pas présentés au Conseil d’administration. Les chefs de projets portant sur les opérations souveraines ont noté qu’il est rare qu’un projet soit arrêté avant l’approbation du Conseil au motif que sa qualité à l’entrée laisse à désirer. En revanche, le retour d’information obtenu de la Direction et des chargés des investissements indique que la réunion de l’équipe de direction départementale (DMT) est utilisée efficacement pour filtrer les projets qui présentent des problèmes de qualité à l’entrée, les projets étant recalés pour amélioration dans environ 30 % des réunions en raison de l’engagement ferme de la Direction.

L’évaluation a révélé dans les ONS un manque d’incitations à évaluer de façon optimale et à tirer des leçons de l’apport de la Banque au développement du secteur privé. Les personnes interrogées ont laissé entendre que ce défi découle de l’importance relativement que l’on attache à l’éligibilité des ONS à un concours financier, plutôt qu’à leur impact sur le développement. Lorsqu’une notation acceptable de l’impact sur le développement potentiel a été obtenue, l’intérêt se fait moins ressentir d’enrichir l’argument du développement et de mieux faire ressortir la contribution d’un projet à des impacts plus stratégiques sur le développement du secteur privé. L’auto-évaluation réalisée par la Banque en 201667 a identifié le manque de principaux indicateurs performance axés sur la qualité comme un facteur limitant la qualité de la préparation des opérations du secteur privé.

Une attention accrue est accordée aux vérifications d’usage qui sont faites avant l’approbation du projet, alors que l’on devrait veiller à ce que des mesures efficaces soient prises pour atténuer, prévenir ou compenser des impacts environnementaux et sociaux négatifs. Par exemple, l’indicateur institutionnel de la Banque relatif aux questions environnementales et sociales porte uniquement sur l’inclusion des mesures d’atténuation d’impacts environnementaux et sociaux lors de l’évaluation68. De la même façon, les rapports annuels d’ORQR (et de SNSC) portent essentiellement sur les vérifications d’usage ex ante des questions environnementales et sociales69.

Après avoir présenté l’évaluation de la pertinence du cadre actuel de contrôle de la qualité, le niveau de conformité aux procédures existantes, ainsi que les facteurs exogènes et endogènes qui affectent la mise en œuvre du système, la section suivante aborde la contribution des processus de contrôle de la qualité à l’atteinte des résultats en matière de développement fixés pour le projet et à l’apprentissage organisationnel.

Efficacité du cadre de contrôle de la qualité

En toile de fond de la théorie du changement présentée à l’annexe D, cette section décrit la contribution plausible du cadre de contrôle de qualité de la Banque dans tout le cycle du projet à l’atteinte des résultats en matière de développement au niveau du projet et à l’apprentissage organisationnel. La section analyse tout d’abord l’évolution de la qualité de la conception des projets approuvés par la Banque et ses liens avec la solidité des rapports de supervision. La section évalue ensuite dans quelle mesure la Banque détermine les risques lors de l’évaluation, y compris les mesures d’atténuation appropriées, et la façon dont les risques sont gérés de manière proactive durant la mise en œuvre. Le rôle de la vérification diligente pour déterminer, éviter, minimiser et atténuer ou compenser les effets négatifs sur l’environnement et sur les personnes affectées est intégrée dans une telle analyse.


Contribution du cadre de contrôle de la qualité à l’atteinte des résultats de développement

Évolution de la qualité à l’entrée des projets et robustesse du processus d’établissement de rapports sur les résultats en matière de développement

Opérations du secteur public

La qualité à l’entrée des projets d’investissement et des OAR n’a pas fondamentalement changé au cours de la période d’évaluation (2013–2017) malgré une application systématique du cadre de contrôle de la qualité avant l’approbation des projets. Cette situation peut être considérée comme un bon résultat au regard des circonstances extraordinaires dans lesquelles la Banque a opéré pendant la période d’évaluation. Près de la moitié des projets approuvés au cours de la période ont atteint le seuil fondé sur des données probantes d’IDEV à l’approbation. Toutefois, les analyses statistiques ont montré qu’il n’existe pas une forte relation entre l’année d’approbation et le nombre de projets ayant atteint ce seuil70. Cette conclusion diffère de celle des auto-évaluations effectuées par la Division du contrôle de la qualité de la Banque, qui précise que la qualité des REP s’est améliorée entre 2011 et 2017 sur la base des notations de la revue de l’état de préparation71.

❙ Même si la majorité des 85 projets d’investissement public approuvés entre 2013 et 2017 peuvent faire l’objet d’une évaluation, ils ne respectent pas les bonnes pratiques du point de vue de l’analyse économique, de l’état de préparation à l’exécution et surtout de la gestion des risques. La revue documentaire a permis de constater que les projets exécutés dans les secteurs des transports et de l’énergie étaient sous-tendus par des analyses économiques plus poussées, ce qui a consolidé les directives y afférentes, et les projets menés dans le secteur social présentaient des analyses économiques moins robustes et

étaient rarement étayées par une analyse de rentabilité pour justifier leur conception.

❙ Les OAR présentent des faiblesses dans l’analyse économique et la détermination des risques environnementaux et sociaux à l’entrée. Les 35 OAR analysées dans le cadre de l’évaluation de la qualité à l’entrée (approuvées entre 2013 et 2017) ne comportent pas d’analyse économique générale des réformes proposées, ce qui s’écarte sérieusement des bonnes pratiques telles que l’utilisation de la Matrice d’efficacité du développement (DEM) de la Banque interaméricaine de développement72. Même si une telle analyse pourrait ne pas être pertinente pour tous les plans d’appui institutionnel (PAI) et les OAR, elle l’est lorsque les réformes et les activités entraînent des charges récurrentes. De la même manière, l’évaluation a permis d’observer que dans deux cas seulement une évaluation environnementale et sociale stratégique a été conduite pour les OAR de l’échantillon. Le reste des projets ont estimé qu’ils ne présentaient aucun impact environnemental et social et étaient classés comme des projets de catégorie 3. Ce qui n’est pas conforme aux conditions à remplir en matière de sauvegardes environnementales et sociales, et représente une occasion manquée d’aider les pays à opérer la transition vers la croissance écologique par le biais des réformes sectorielles encouragées par les OAR.

L’auto-évaluation de la Banque au cours de l’achèvement (RAP) est satisfaisante dans l’ensemble pour la cohorte des projets de 2014 et 2015, mais des défis subsistent quant à la garantie de la durabilité des projets. L’analyse de la cohorte des RAP les plus récents disponibles validés par IDEV (35 en 2014 et 55 en 2015)73 a révélé un taux de satisfaction global de 63 % pour l’échantillon de 2014 et de 73 % pour 2015 (RAP évalués comme ayant une qualité satisfaisante selon la direction de la Banque). Les membres des équipes de projet ont estimé que


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

les activités de clôture ne permettaient pas de s’assurer efficacement que les flux de retombées provenant des projets continueraient après le retrait du financement de la Banque.

L’évaluation a noté une réduction du décalage entre l’auto-évaluation et la validation indépendante des notations des RAP pour les années disponibles (2014–2015). L’évaluation a examiné deux domaines clés : i) l’étendue de la couverture des risques de durabilité au cours de l’exécution, et comment ces risques sont finalement signalés à la sortie ; et ii) la qualité de l’autovérification pour établir le niveau de décalage. Le décalage s’est amélioré, passant de 22,5 % en 2014 à 14 % en 2015. Toutefois, l’objectif de la Banque est de 10 % et celui des pairs est de 5 % à 10 %. Ces conclusions doivent être analysées avec prudence en raison de la petitesse de l’échantillon et du manque de données de 2016 et 2017.

La revue substantielle du contenu du petit échantillon de RAP a fait ressortir des problèmes majeurs dans la justification et les informations fournies pour mesurer les résultats et tirer les leçons. Seuls 14 des 22 projet du secteur public de l’échantillon qui ont été clôturés pendant la période ont pu élaborer un rapport d’achèvement vers la mi-2018, la majorité de projets étant des OAR. La majorité des RAP ont identifié les risques, mais ils n’ont pas fourni suffisamment d’informations sur les efforts d’atténuation déployés au cours de l’exécution. Dans trois RAP, les risques identifiés dans les phases initiales n’ont été indiqués qu’à l’achèvement au moyen de références sur la manière dont ils devraient être abordés, mais il n’est pas précisé clairement si cela a été fait.

Opérations du secteur privé

Il a été constaté que les opérations non souveraines étaient moins évaluables que les projets d’investissement et les OAR.

Les principaux problèmes identifiés avaient trait aux aspects suivants : i) l’exposé de la logique de développement des projets, sur la base de données probantes qualitatives et quantitatives ; ii) l’établissement d’une logique verticale cohérente entre les activités et les impacts des projets ; et iii) l’identification des indicateurs crédibles et pertinents des impacts de développement ciblés. Ces lacunes donnent à penser que même si l’impact potentiel d’un projet sur le développement est identifié, les ONS ne sont pas conçues de manière à pouvoir mesurer de façon crédible et exhaustive leurs objectifs de développement potentiels. L’évaluation a également relevé un faible niveau d’alignement entre la logique de développement et les cadres logiques des projets dans les REP et les résultats en matière de développement de l’ADOA. Cette conclusion est conforme à l’analyse conduite récemment par SNOQ, qui a permis de souligner la faible concordance entre les indicateurs identifiés dans l’ADOA, les cadres logiques des projets et les outils de supervision74.

Les rapports de supervision et d’achèvement sont focalisés à l’excès sur les questions administratives et fiduciaires, et n’accordent qu’une attention moindre aux résultats en matière de développement. Le manque des dimensions liées à la qualité de l’établissement des rapports fait qu’il est difficile de suivre la qualité de l’établissement des rapports dans l’ensemble du portefeuille. Certaines opérations ont bénéficié de financements additionnels pour aider les clients à améliorer la qualité de leurs rapports, mais cet appui n’a pas été fourni de façon systématique. Les opérations du secteur financier ont été moins performantes en ce qui concerne l’établissement des rapports sur les résultats en matière de développement par rapport aux ONS non financières. La revue documentaire et les entretiens ont démontré que les projets de ligne de crédit restent confrontés à des problèmes liés à la collecte des données clés en vue de l’établissement de rapports axés sur les résultats. Cette question a aussi été


soulevée lors d’une revue effectuée récemment par la Banque sur l’impact des lignes de crédit75 et présentée au Conseil en 2018. La revue documentaire du petit échantillon de projets (12 sur 22 projets) ayant fait l’objet d’un rapport de supervision élargi a mis en exergue un niveau d’établissement de rapports non satisfaisant par rapport aux objectifs stratégiques de la Banque, aux objectifs en termes de développement (en particulier pour les opérations financières) et aux leçons apprises. Toutefois, l’évaluation a permis de ressortir quelques bonnes pratiques relatives à la production de rapports sur les résultats en matière de développement, avec des résultats fondés sur des bases factuelles solides, allant au-delà des seules informations fournies dans les rapports du client. L’évaluation a aussi identifié un RSE d’une ligne de crédit parmi l’échantillon qui comportait une analyse des impacts économiques plus étendus du projet.

Gestion des risques tout au long du cycle de projet

Les cadres de contrôle de la qualité visent à améliorer l’identification et la gestion des risques tout au long du cycle du projet. Lors de l’évaluation des projets, la Banque détecte les risques et propose des mesures d’atténuation et des dispositifs de suivi qui agiraient comme un système d’alerte rapide pour les problèmes liés à l’exécution, en s’assurant que ces difficultés sont résolues avant qu’elles ne se transforment en sérieux problèmes. Selon les meilleures pratiques identifiées, la qualité à l’entrée comporte une évaluation complète des risques, y compris la détermination de la probabilité et de l’impact potentiel des risques identifiés, ce qui devrait étayer une stratégie de surveillance et d’atténuation des risques fondée sur des données probantes76. La responsabilité mutuelle entre la Banque et ses clients requiert que la Banque aide l’emprunteur à identifier et résoudre les problèmes au fur et à mesure qu’ils se posent. Cela suppose l’implication

non seulement du personnel de la Banque et des agences d’exécution de projet, mais aussi des représentants gouvernementaux et d’autres intervenants nationaux dans les facteurs clés liés au contexte de gouvernance et de réglementation du pays qui pourrait influer sur la préparation et l’exécution du projet.

Opérations du secteur public

Il existe d’importantes lacunes en ce qui concerne les bonnes pratiques en matière de gestion des risques pour les projets souverains à l’étape d’évaluation. Dans certaines conceptions de projet qui ont été examinées, la section relative aux risques a été utilisée pour « rejeter » des risques, plutôt que pour définir les voies et moyens de les aborder. Les principales faiblesses résident dans l’omission des aspects suivant : i) l’évaluation les risques et leur classement sur la base de la probabilité et de l’impact potentiel ; ii) la définition des mesures à prendre pour aborder ces risques, notamment « l’acceptation » lorsque le risque n’est pas influencé par le projet ; iii) l’élaboration d’une stratégie pour gérer les risques qui sont liés à leurs causes sous-jacentes ; et iv) la mise au point d’indicateurs précis pour le suivi et la réévaluation des risques. Actuellement, il n’est pas possible de déterminer comment la gestion des risques contribue à la performance des projets dans la mesure où la qualité de l’analyse des risques au stade de l’évaluation est systématiquement approximative.

Le décaissement, le financement de contrepartie, la passation des marchés et la gestion financière sont des facteurs déterminants qui influent sur l’avancement de l’exécution des projets. L’analyse des critères de performance des 357 REE élaborés au cours de la période 2012–2017 pour les 83 projets du secteur public examinés fait ressortir les défis suivants qui entravent l’exécution : problèmes de décaissement (23 % des REE) ; mobilisation des financements de contrepartie


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

(18,5 %) ; problèmes liés à la passation des marchés (13 %), et gestion financière (9 %). En plus de ces facteurs, les retards enregistrés dans la passation des marchés (le temps qui s’écoule entre le moment de la soumission des documents relatifs à l’offre pour approbation de la Banque, et la date d’adjudication du contrat) sont aussi importants, variant en 6,3 et 16,3 mois, alors que l’objectif de la Banque est de huit mois.

Il est possible d’apporter des améliorations en ce qui concerne la résolution efficace et opportune des problèmes liés à l’exécution des projets. L’une des principales fonctions de la supervision des projets est la surveillance et la résolution proactives des problèmes identifiés lors des missions de supervision précédentes. La perception générale du personnel de la Banque concernant l’utilité de la supervision en vue de l’identification précoce des risques et des problèmes est très élevée (78 % des personnes interrogées sont « d’accord » ou « tout à fait d’accord »). La revue documentaire a révélé que, même si les rapports de supervision soulèvent à juste titre des questions d’exécution essentielles et assignent des actions correctives aux institutions ou acteurs responsables, les délais nécessaires pour les résoudre n’ont pas été systématiquement précisés. Seuls 39 projets du secteur public sur les 45 ont été jugés comme ayant deux ou plus de deux années consécutives de supervision. La moitié d’entre eux présentent des preuves d’un suivi approprié des recommandations découlant des supervisions précédentes, comme le montre la revue des 391 rapports de supervision au cours de la période d’évaluation. Certains facteurs expliquant ces performances médiocres sont liés à la formulation générique et non exploitable des recommandations. Par conséquent, il est possible d’améliorer la fonction de supervision de projet en la positionnant comme un système d’alerte rapide pour les problèmes d’exécution et en mettant en lumière sa capacité à résoudre ces problèmes à temps, selon le besoin. En outre, les projets récemment considérés comme posant problème demeurent signalés comme

tels pendant de longues périodes. S’il est vrai que 39,8 % des projets signalés appartenaient à cette catégorie entre 2015 et 2016, il n’en demeure pas moins que ce pourcentage est passé à 49,74 % lors des années suivantes (en l’occurrence en 2016 et en 2017).

L’efficience des projets s’est améliorée en ce qui concerne les retards au démarrage de projet, même si l’évaluation de la qualité à l’entrée a montré que le temps qui s’écoule entre l’approbation et le premier décaissement ne constitue pas un indicateur important de l’état d’avancement global de l’exécution. Une bonne conception, notamment l’état de préparation à l’exécution des projets, ainsi que le lancement et la supervision des projets devraient permettre de réduire le temps qui s’écoule entre l’approbation et le décaissement. En 2017, la BAD a signalé que la durée moyenne entre l’approbation et le premier décaissement était de 15 mois, un délai semblable à celui d’autres institutions de référence, notamment la BID (12,1) et le FIDA (16,8). Toutefois, le portefeuille de la Banque mondiale en Afrique (qui ne couvre que l’Afrique subsaharienne) est plus performant en ce qui concerne cet indicateur (9,4 mois). Le temps qui s’écoule avant le déblocage de la première tranche a chuté de manière considérable au cours de la période 2013–2016. En effet, alors qu’il s’établissait à 17,57 mois en moyenne pour les projets approuvés en 2013, ce délai a baissé à 12 mois pour les projets approuvés en 2015 et 2016.

Opérations du secteur privé

La gestion des risques des projets et les capacités de la conception et de la supervision à atténuer les risques des projets sont faibles. Il a été constaté que la majorité (70 %) des 50 ONS examinées présentaient au moins un risque de crédit : i) qui n’a pas été traité au moment de l’approbation ; ii) qui n’a pas été présenté comme ayant été atténué


au moyen d’autres considérations ou mesures ; et iii) pour lequel aucune condition suspensive à la signature ou au décaissement n’a été proposée. Relativement aux résultats négatifs, le financement des projets et les prêts aux entreprises étaient plus susceptibles d’accuser des retards dans la signature et le décaissement par rapport aux lignes de crédit. A contrario, le financement des projets, les prêts aux entreprises et les lignes de crédit courraient le risque d’être « sur la liste des éléments à surveiller » ou d’être considérés comme présentant un risque de non-remboursement (reconnus comme compromis/coentreprises ou dépréciés). Pour les lignes de crédit, la présence de risques non atténués liés aux coefficients d’exploitation et à la gouvernance institutionnelle constituait un important indicateur de perte potentielle77. Les institutions de référence telles que la SFI et IDB Invest disposent d’équipes de gouvernance d’entreprise chargées de traiter ces questions de façon proactive, suivant les recommandations du Groupe de travail des IFD sur la gouvernance d’entreprise.

La majorité des recommandations des missions de supervision ne peut pas être appliquée efficacement. Il ressort de la revue documentaire de 22 projets que la plupart des actions de suivi et des recommandations de supervision demeurent vagues dans leur formulation ; elles ne sont pas soumises à des contraintes de date et ne sont pas exhaustives dans la majorité des cas (notamment pour 12 projets).

Les données sur l’efficacité des projets provenant des institutions de référence étaient difficiles à obtenir, mais celles disponibles présentaient des chiffres similaires. Le délai moyen s’écoulant entre la date d’approbation et la prise d’effet des projets du portefeuille privé de la BAD est de 13,5 mois, alors que celui d’IDB Invest de 9,8 mois. Les données de la SFI n’ont pas pu être obtenues.

La performance du portefeuille en termes de prêts non productifs (PNP) reste faible. L’évaluation n’a pas conduit une analyse des prêts

non productifs de l’échantillon, mais la moyenne pour la Banque demeure faible (2,1 % au troisième trimestre 2013 et 7,6 % au quatrième trimestre 2016)78. Le pourcentage le plus récent (2017) est 4,5 %, un niveau inférieur à celui des institutions de référence (5,4 % pour la SFI, 5,5 % pour la BERD, et 6 % pour IDB-IIC).

Gestion des risques liés aux sauvegardes environnementales et sociales et efficacité de l’établissement des rapports sur les mesures d’atténuation des impacts environnementaux et sociaux

L’identification des impacts environnementaux et sociaux et la définition des mesures d’atténuation appropriées, ainsi que l’information sur les risques ES dans les rapports de supervision et d’achèvement suivent les mêmes pratiques que celles d’autres institutions de référence. Cette performance affecte tant les projets du secteur public que ceux du secteur privé :

❙ Dans un sous-échantillon de 24 projets du secteur public (de catégories 1 et 2) disposant de rapports de supervision, seuls cinq ont dûment justifié la note très satisfaisante obtenue concernant les aspects environnementaux et sociaux dans les REE. La notation des risques environnementaux et sociaux pendant la supervision permet de déterminer si les mesures d’atténuation environnementale et/ou sociale convenues avec l’emprunteur ont été mises en œuvre avec succès et en temps opportun, conformément au Plan de gestion environnementale et sociale79. Ces cinq projets portent sur les secteurs de l’énergie et des transports80. Trois autres projets sortent du lot, mais ont obtenu de faibles notes en ce qui concerne les aspects environnementaux et sociaux, ce qui constitue également une bonne pratique en termes de gestion des risques environnementaux et sociaux (notamment l’identification des problèmes afin de proposer des mesures correctives).


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

❙ La majorité des rapports de supervision des 15 projets de l’échantillon incluant les composantes « indemnisation » ou « réinstallation » affichent la note « satisfaisant » ou « partiellement satisfaisant » dans la mise en œuvre des PAR, mais les informations sont très insuffisantes pour déterminer le véritable niveau de mise en œuvre sur le terrain et leurs résultats sur les moyens de subsistance des populations81. Cette conclusion rejoint celle d’une évaluation qui a été effectuée en 2015 par la BAD sur 69 projets ayant une composante « réinstallation » (2005–2015) et qui a montré que les agences d’exécution et la Banque n’ont pas suffisamment de capacités pour assurer le suivi de la mise en œuvre des PAR.

❙ Les données spécifiques sur les aspects environnementaux et sociaux contenues dans les aide-mémoires lors des supervisions demeurent très limitées dans l’échantillon de projets du secteur public (catégories 1 et 2) qui a été examiné. Sur les 29 aide-mémoires obtenus, seuls deux comprenaient une annexe distincte sur les sauvegardes environnementales et sociales. Ce qui rejoint les conclusions d’un audit de conformité conduit par ORQR (2014), qui ont relevé que les aspects environnementaux et sociaux ne font pas l’objet d’un examen systématique lors de la supervision et ne sont pas inclus dans les aide-mémoires, sauf lorsqu’un risque élevé potentiel se concrétise82. Le Rapport annuel 2017 du Mécanisme d’inspection indépendant (MII) indique que les rapports de supervision de la Banque et les rapports de fin de mission sur les aspects environnementaux et sociaux sont succincts ou élaborés sans appliquer la diligence raisonnable nécessaire, et dans quelques cas, ils ne correspondent pas aux activités réelles du projet sur le terrain.

❙ Les rapports de supervision contiennent des informations insuffisantes sur les

questions environnementales et sociales des opérations non financières du secteur privé (catégorie 1 et 2) et les opérations mises en œuvre par le biais d’intermédiaires financiers ou de prêts aux entreprises (catégorie 4). Selon des entretiens, les procédures d’évaluation environnemental et social des opérations du secteur prive sont en train d’être revues pour les renforcer. Des données restreintes ont été constatées pour les projets de catégorie 4 même pour les quelques cas où le respect des procédures de SES de la Banque a été intégrée dans le cadre logique axé sur les résultats du PAR (nombre de sous-emprunteurs entièrement en conformité avec les obligations environnementales et les systèmes de suivi environnemental). IDEV se penchera sur la conformité environnementale et sociale des lignes de crédit en s’appuyant sur une étude de cas au cours de la prochaine évaluation autonome du Système de sauvegardes intégré. D’après les avis recueillis lors des entretiens, les procédures d’évaluation des aspects environnementaux et sociaux font l’objet d’un examen dans l’optique de renforcer les directives en matière de gestion des risques environnementaux et sociaux des opérations du secteur privé.

La contribution du cadre du contrôle de la qualité de la Banque à la promotion de l’apprentissage au sein de la Banque

La chaîne de contrôle de la qualité joue un rôle primordial dans l’amélioration continue des performances du portefeuille de la Banque grâce aux boucles de rétroaction. Les informations produites à chaque étape du cycle de projet devraient éclairer les conceptions et l’exécution des opérations nouvelles et en cours. De plus, les processus d’apprentissage de type « préparation à l’exécution » (prise en compte en aval) interviennent lorsque les risques et les mécanismes de surveillance déterminés à


l’étape de conception influencent les activités de supervision (voir la figure 1).

L’évaluation et les auto-évaluations récentes effectuées par la Banque ont reconnu que la compilation et le partage des connaissances demeurent un défi. Au niveau des projets, le système d’établissement des rapports mis en place pour les projets du secteur public donne la possibilité d’enregistrer les enseignements tirés : i) les REP incluent l’intégration des leçons apprises ; ii) la section finale des REE porte sur « les leçons apprises au cours de l’exécution » ; et iii) les RAP exigent l’identification des leçons en vue de la pertinence, l’efficacité, l’efficience et la durabilité. Le RAP, en tant que rapport d’auto-évaluation, est un élément essentiel pour faire des observations sur les leçons étant donné qu’il permet à la Banque de comptabiliser ses investissements et de rassembler les

données d’expérience et les leçons tirées des opérations achevées pour éclairer la conception de nouveaux programmes. Pour ce faire, les leçons sont classées pour étayer les spécificités et le contexte dans lequel elles se produisent. Toutefois, la qualité et la possibilité d’utilisation de ces leçons dans les principaux documents de l’ensemble du cycle du projet sont jugées faibles par cette évaluation, comme indiqué par les évaluations antérieures83.

❙ Le REP ne rend pas souvent compte des leçons essentielles tirées des opérations antérieures, dans le secteur, le pays ou dans des opérations similaires menées par d’autres partenaires. Les sources les plus courantes des leçons apprises sont les phases ou les projets précédents, alors que les évaluations indépendantes et les études économiques sectorielles de la Banque sont

Figure 1 : Processus de rétroaction et de « préparation à l’exécution » dans le cycle de projet

❙ Assurer la solidité technique et la viabilité économique du projet

❙ Assurer la clarté de la logique de l’intervention et de la chaine de résultats

❙ Identifier et atténuer les risques liés à l’exécution, dont les risques environnementaux et sociaux

Qualité à l’entrée ❙ Appuyer la planification de l’exécution et le lancement du projet

❙ Assurer le respect des accords et politiques, y compris pour la gestion environnementale et sociale

❙ Suivre le progrès de l’exécution et faire face aux risques y afférents, dont les risques environnementaux et sociaux

Qualité de la supervision ❙ Évaluer les résultats par rapport aux cibles

❙ Évaluer la performance de l’emprunteur par rapport aux accords

❙ Suivre le progrès de l’évaluation, y compris le Plan de gestion environnementale et sociale

❙ Assurer la mise en place des dispositions nécessaires à la durabilité des résultats

Qualité à la sortie

Prise en compte en amont des enseignements dans la

conception de projet

Prise en compte en aval pour éclairer l’exécution et le suivi

Source : Élaboré par l’équipe d’évaluation lors de la phase de création


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

moins souvent mentionnées (respectivement 24 % et 12 % pour un sous-échantillon de 25 opérations souveraines examinées).

❙ Les activités liées au contrôle de la qualité à l’achèvement n’accordent pas une attention suffisante à la compilation des enseignements pertinents qui pourraient s’avérer utiles et accessibles pour guider la conception de nouvelles opérations. L’analyse du contenu du petit échantillon de rapports d’achèvement (14 RAP) a révélé que les données probantes fournies sur les

leçons sont faibles et les enseignements sont souvent non applicables ou trop génériques pour pouvoir être utilisés. Les intervenants interrogés ont reconnu que la Banque ne consacre pas suffisamment de temps et d’attention à l’identification des enseignements et à leur mise à disposition sous une forme exploitable. La majorité des chefs de projet ont exprimé des préoccupations quant à la capacité des RAP à générer des connaissances pertinentes et à faciliter l’intégration des leçons apprises dans la conception des nouveaux projets.

Phot

o: ©

BAD

Phot

o: ©

BAD

65Conclusions et recommandations

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Conclusions et recommandations

Conclusions

Conclusions applicables aux opérations des secteurs public et privé

❙ Le système de contrôle de la qualité actuel de la Banque est jugé pertinent et aligné sur les meilleures pratiques. Toutefois, il ne comporte pas d’outil de données intégré pour la gestion des opérations le long du cycle de projet, ce qui limite la mesure dans laquelle ces données peuvent être utilisées pour prendre des décisions stratégiques.

❙ Le cadre de contrôle de la qualité à l’entrée de la Banque comporte des lacunes relativement aux facteurs clés présentés comme étant les meilleures pratiques pour garantir l’efficacité des processus de contrôle de la qualité, notamment l’indépendance, la contestabilité et la vérification. La Banque ne dispose pas d’un groupe indépendant qui fournit des commentaires et des conseils sur la qualité des projets avant l’approbation, comme le font quelques institutions de référence. De plus, il n’existe aucune orientation claire pour assurer une participation élargie des différentes unités de l’organisation, afin de garantir la qualité des opérations, y compris celles qui ne sont pas impliquées. Dans les opérations souveraines et non souveraines, la Banque ne dispose pas de mécanisme systématique pour vérifier si les observations sont prises en compte ou traitées de manière vérifiable.

❙ Le cadre de supervision actuel des opérations des secteurs public et privé demeure pertinent et utile en raison des récentes réformes opérées et des efforts accrus de la part de la Direction.

Des améliorations dans le suivi du portefeuille et des mesures destinées à stimuler l’engagement de la Haute Direction permettent d’améliorer l’efficacité des opérations, mais il est nécessaire d’accorder une attention aux problèmes liés aux projets lors du suivi et de la supervision.

❙ La Banque a un ratio projets/chefs de projet élevé pour les opérations des secteurs public et privé et n’a pas de programme de formation adéquat ou harmonisé pour aider les chefs de projet dans leur mission. Le nombre d’employés chargés de soutenir les projets dans l’écosystème du contrôle de la qualité est également insuffisant par rapport à la croissance du portefeuille. Il s’agit notamment de spécialistes en gestion des risques et de juristes, du personnel de l’ADOA, du personnel de gestion fiduciaire et d’experts en sauvegardes environnementales et sociales.

❙ Les obligations de la Banque concernant l’évaluation et la gestion des risques environnementaux et sociaux tout au long du cycle de projet ont été davantage clarifiées grâce à la mise en place du nouveau Système de sauvegardes intégré (SSI), mais elles demeurent trop concentrées sur la diligence raisonnable nécessaire avant l’approbation. La qualité de l’établissement des rapports sur les risques environnementaux et sociaux dans les rapports de supervision et d’achèvement présente certaines lacunes, à savoir : i) une faible justification des notes relatives aux aspects environnementaux et sociaux des REE ; ii) des informations limitées sur les résultats de la supervision concernant les conséquences des plans de réinstallation et d’indemnisation sur les personnes affectées par les projets financés par la Banque ; iii) et très peu de données sur les aspects environnementaux et sociaux dans les


aide-mémoires et les rapports de supervision des projets du secteur privé examinés.

❙ L’évaluation a constaté un bon niveau de conformité de l’échantillon de projets publics et privés pour ce qui est des obligations de publication des rapports d’évaluation environnementale et sociale (EES) avant l’approbation du Conseil. Toutefois, cette analyse s’est heurtée à l’absence des versions signées et datées de la plupart de ces rapports d’EES. Le Système intégré de suivi des sauvegardes (SISS) n’est pas encore pleinement opérationnel.

❙ Il a été observé que les questions d’acquisition de terres et de réinstallation constituent des goulots d’étranglement récurrents dans l’exécution des projets d’infrastructure majeurs des secteurs public et privé, financés par la Banque. Dans certains cas, même lorsque les emprunteurs se conforment aux critères des sauvegardes environnementales et sociales, des défis liés à l’indemnisation ou à la réinstallation sont difficilement évitables dans des situations complexes telles que les zones densément peuplées. La Banque n’a pas contribué activement à l’amélioration des cadres institutionnelles et les procédures sur cette question afin de venir à bout de cet obstacle à l’exécution, en fournissant des conseils sur les meilleures pratiques.

❙ Les principaux indicateurs de performance de la Banque sont davantage liés aux approbations et au décaissement. Ce qui crée des incitations contradictoires pour le personnel de la Banque, favorisant ainsi les approbations au détriment des conceptions de qualité, et le décaissement au détriment de l’atteinte des objectifs de développement et la compilation des leçons clés pour améliorer les interventions futures.

Conclusions pour les opérations du secteur public

❙ Concernant la qualité à l’entrée et au cours de l’exécution, le cadre de contrôle de la qualité

de la Banque ne fait pas de différence entre les projets en fonction du risque, avec des incidences éventuelles pour l’affectation des ressources.

❙ Certains outils d’évaluation appliqués avant l’approbation du Conseil, notamment l’évaluation par les pairs et les réunions des équipes pays, présentent des lacunes en termes des qualifications souhaitées et d’expérience des pairs évaluateurs, et de questions à traiter relativement à la conception des projets.

❙ Il est supposé que les OAR n’ont aucun impact environnemental et social néfaste, et sont classées comme des projets de catégorie 3. Ce qui représente une occasion manquée d’aider les pays à opérer la transition vers la croissance écologique par le biais des réformes sectorielles.

❙ L’évaluabilité et l’état de préparation à l’exécution constituent d’importants indicateurs de performance des projets d’investissement public, lorsque les normes de bonnes pratiques établies par IDEV sont appliquées. La moyenne de ces facteurs est calculée dans le cadre de la revue de l’état de préparation de la Banque en utilisant d’autres dimensions.

❙ Au cours de la préparation et de l’évaluation des projets, la Banque ne tient pas compte explicitement des facteurs pays qui affectent les relations entre la qualité à l’entrée et les progrès vers l’exécution.

❙ L’évaluation a constaté un bon niveau général de conformité, plus solide au moment de l’évaluation préalable des projets. Certains domaines d’amélioration identifiés sont les suivants : l’élaboration des notes de synthèse des projets ; l’utilisation des missions de lancement de projet ; et les missions de revue à mi-parcours.

❙ La Banque a pris d’importantes mesures pour renforcer le système de supervision,


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

en particulier au niveau du portefeuille, mais des efforts supplémentaires sont nécessaires pour renforcer la supervision des projets, qui devrait être plus proactive. Les outils de supervision actuels ne sont pas totalement adaptés aux différents types d’intervention et de contextes d’exécution.

❙ Concernant les missions de supervision, la fréquence prévue, la composition des équipes et la soumission en temps opportun des rapports se sont révélés être des défis à relever, en s’appuyant sur les niveaux actuels des effectifs dans certains cas. Toutefois, la fréquence de la supervision des projets à problème a augmenté au cours de la période d’évaluation.

❙ Lorsque l’outil de bonnes pratiques d’IDEV a été appliqué, la qualité à l’entrée des projets d’investissement et des OAR n’a pas beaucoup changé au cours de la période d’évaluation (2013-2017), ce qui est considéré comme un résultat satisfaisant eu égard aux circonstances exceptionnelles dans lesquelles la Banque s’est retrouvée pendant cette période.

❙ Les rapports d’achèvement, et leur validation par IDEV, ont été retardés. Le peu de données disponibles montre que l’auto-évaluation des projets de la Banque à l’achèvement (PCR) est satisfaisante et que le décalage avec la validation indépendante s’est réduit.

Conclusions pour les opérations du secteur privé

❙ Le processus de préparation et d’approbation des projets n’établit aucune distinction fondée sur le risque ou n’utilise pas l’assistance technique pour atténuer les principaux risques.

❙ Les pratiques de la Banque concernant la sélection et l’évaluation des opérations

du secteur privé cadrent avec celles des institutions de référence, mais elles pourraient être renforcées en mettant l’accent sur l’analyse de l’évaluabilité des projets.

❙ Il a été constaté que les opérations non souveraines étaient moins évaluables que les projets d’investissement et les OAR. Ce qui a des implications pour mesurer de façon crédible leurs résultats de développement potentiels et réels.

❙ L’approche de la supervision axée sur les risques a été jugée adaptée à son contexte et bien alignée sur la pratique des institutions de référence. Toutefois, les points de décision et le calendrier des projets problématiques pourraient être mieux définis.

❙ Certaines dimensions qui ont eu de bonnes performances au cours de la période sont la fréquence des missions et la composition des missions (approche d’équipe), même si les spécialistes des questions environnementales et sociales pourraient y être associés de façon plus proactive afin d’éviter les risques de réputation.

❙ Les rapports de supervision sont focalisés sur les questions administratives et fiduciaires, et n’accordent qu’une attention moindre aux résultats en matière de développement. Les opérations du secteur financier ont été moins performantes en ce qui concerne l’établissement des rapports sur les résultats en matière de développement par rapport aux ONS non financières.

❙ La gestion des risques des projets tout au long du cycle des projets est jugée faible, conformément à la validation documentaire de l’échantillon de projets examiné à l’entrée et aux documents de supervision de la Banque.

❙ Les données sur les rapports de supervision élargis étaient très insuffisantes, et des


défis concernant le moment approprié pour élaborer un rapport de supervision élargi, afin de pouvoir saisir les résultats en matière de développement ont été identifiés. L’évaluation a également fait état de certaines bonnes pratiques en termes d’établissement des rapports sur les résultats en matière de développement à l’achèvement. IDEV n’a pas validé des rapports de supervision élargis au cours des quatre dernières années.

Recommandations

Recommandation 1 – Processus de revue du contrôle de la qualité : renforcer l’efficacité et l’efficience du processus d’évaluation de la qualité :

❙ En trouvant des « voies » d’approbation qui permettent d’établir une distinction entre les opérations en fonction du risque ;

❙ En réduisant le nombre d’étapes séquentielles au profit d’une réunion unique au cours de laquelle toutes les contributions du contrôle de la qualité sont examinées avant l’approbation du projet ;

❙ En fournissant aux chefs de projet un appui plus systématique en matière de renforcement de la qualité, en ce qui concerne particulièrement les projets qui ne répondent pas aux normes de qualité ;

❙ En identifiant et en affectant des ressources nécessaires le long de l’«écosystème» de préparation et de supervision pour appuyer l’efficacité des processus de revue.

Recommandation 2 – Développement des activités : accroître l’utilisation des facilités de préparation des projets pour promouvoir la qualité à l’entrée des projets :

❙ En veillant à ce que le personnel soit sensibilisé et encouragé à utiliser ces fonds

pour appuyer l’identification et la mise en œuvre du programme opérationnel indicatif, en ce qui concerne notamment les études économiques et sectorielles ;

❙ En augmentant le total des fonds et l’allocation maximale de la Facilité de financement de la préparation des projets (FPP), le Fonds d’assistance technique en faveur des pays à revenu intermédiaire et d’autres sources de fonds ;

❙ En diversifiant l’utilisation approuvée des mécanismes de préparation, afin de réduire les coûts de transaction et de desserrer les contraintes systémiques à la préparation des projets.

Recommandation 3 – Planification et budgétisation : renforcer le programme opérationnel indicatif de la Banque et l’allocation des ressources à la préparation et à la supervision des projets :

❙ En assurant l’application de la fiche de projet et en améliorant le contenu, notamment en établissant des critères clairs pour l’intégration des projets dans la réserve de préparation et pour l’allocation des ressources (temps et budget) à la préparation ;

❙ En établissant un système intégré et automatisé d’information de gestion tout au long du cycle de projet, en vue de favoriser la responsabilité et d’élargir l’accès aux données pour éclairer les décisions stratégiques.

Recommandation 4 – Revue des outils à l’entrée : améliorer la pertinence et l’efficacité de la revue de l’état de préparation (REP) et de la revue par les pairs :

❙ En ajustant le contenu de la REP pour tenir compte de l’évaluabilité, de l’analyse économique, de l’état de préparation à l’exécution et de la gestion des risques ;


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

❙ En renforçant l’indépendance de la REP et de la revue par les pairs, avec une unité « indépendante » pour coordonner les deux processus ;

❙ En élaborant pour les pairs évaluateurs techniques des termes de référence détaillés et des critères de sélection précis.

Recommandation 5 – Qualité des ONS : définir un cadre pour le renforcement de l’évaluabilité des opérations non souveraines :

❙ En évaluant l’évaluabilité des ONS en plus de leurs résultats en matière de développement potentiels, grâce notamment à l’identification d’une logique d’intervention claire et justifiée et de mesures de performance crédibles ;

❙ En trouvant un mécanisme d’amélioration de la qualité pour renforcer la logique de développement et d’intervention des ONS, en ce qui concerne particulièrement les projets dont l’évaluabilité est faible.

Recommandation 6 – Risque de crédit des ONS : renforcer les mécanismes de vérification de l’atténuation des risques de crédit des opérations non souveraines :

❙ En mettant en place un filtre d’état de préparation pour le financement de projets et les prêts aux entreprises, pour donner des conseils sur les bonnes pratiques aux chargés d’investissement et éclairer le processus de revue ;

❙ En renforçant le rôle que jouent les chargés du risque de crédit pour s’assurer de la prise en compte adéquate des risques clés et de l’application des mesures destinées à les gérer dans les accords de prêt.

Recommandation 7 – Risque de gouvernance institutionnelle des ONS : mettre davantage l’accent sur les risques liés à la gouvernance institutionnelle dans les opérations non souveraines :

❙ En renouant le dialogue avec le groupe de travail des institutions de financement du développement sur la gouvernance institutionnelle et en dispensant aux chargés de l’investissement une formation sur les questions de gouvernance institutionnelle ;

❙ En identifiant des fonds d’assistance technique consacrés aux questions de gouvernance institutionnelle des ONS, en ce qui concerne particulièrement les opérations auxquelles participent des banques de rang inférieur ;

❙ En exploitant de manière plus systématique l’assistance technique pour atténuer les risques liés à la gouvernance institutionnelle, avant le décaissement d’un prêt et en suivant la performance sur la base des changements de comportement.

Recommandation 8 – État de préparation de la contrepartie : améliorer l’état de préparation des PMR et renforcer leurs capacités en matière de gestion des investissements publics :

❙ En décelant les déficits de capacité des PMR lors de l’identification des projets, et en prévoyant des mécanismes qui permettent de fournir au besoin un appui supplémentaire tout au long du cycle de projet ;

❙ En identifiant les pays où l’état de préparation des contreparties constitue un obstacle constant à la conception et à la mise en œuvre des projets, et en offrant des programmes d’appui pour lever ces contraintes et compléter l’élaboration du programme opérationnel indicatif.

Recommandation 9 – Gestion proactive de projet : améliorer la gestion des risques et la performance du projet :

❙ En assurant l’alignement de la supervision des projets sur le suivi du portefeuille, afin de fournir un appui approprié aux projets


à problèmes et de relever les défis liés à la mise en œuvre et à l’atteinte des résultats des opérations ;

❙ En ce qui concerne les opérations du secteur public, en promouvant une approche proactive de la supervision des projets en fonction du type de projet et de l’exposition aux risques établie au stade préalable à la mise en œuvre ;

❙ Pour ce qui est des opérations du secteur privé en particulier, en renforçant la supervision du projet grâce à des missions spéciales visant à suivre l’établissement de rapports sur les résultats tout au long du cycle de vie du projet ;

❙ En passant en revue les RAP dans le cadre de réunions officielles de validation, afin de créer un espace pour la contestabilité et une formulation claire des enseignements.

Recommandation 10 – Conformité aux règles de la Banque : assurer le respect des normes de qualité en matière de supervision et d’exécution :

❙ En renforçant les mécanismes de contrôle de qualité en ce qui concerne l’établissement de rapports de supervision et de suivi des projets ;

❙ En établissant des orientations claires et des critères de performance précis pour la supervision des projets, en ce qui concerne notamment la différenciation par type d’opération, par pays et par profil de risque ;

❙ En effectuant des missions sur le terrain sélectives après l’achèvement, pour renforcer l’ajout de valeur des notes de validation d’IDEV et la crédibilité des résultats ;

❙ En établissant des orientations claires et des critères de performance précis pour les pratiques de suivi et de supervision dans

les bureaux régionaux de la Banque et leurs bureaux pays respectifs ;

❙ En adoptant une planification précoce de l’achèvement du projet lors de la dernière mission de supervision, pour assurer l’affectation de ressources appropriées et l’amélioration de la performance ;

❙ En rationalisant les outils d’établissement de rapports de supervision, afin de réduire la redondance du contenu et le nombre de rapports requis, et d’assurer une différenciation par type d’opération pour maximiser l’utilité ;

❙ En consolidant les instruments de supervision du projet pour améliorer l’établissement de rapports sur les résultats en matière de développement grâce à l’organisation de missions spéciales pendant le cycle de vie du projet.

Recommandation 11 – Dotation en personnel et formation : améliorer la capacité du personnel à gérer efficacement les projets :

❙ En mettant en place un programme de formation complet et obligatoire pour tous les chefs de projet ;

❙ En établissant des points de référence pour le nombre de projets par chef de projet et en répartissant les ressources de façon appropriée. Ces points de référence devraient tenir compte des différentes charges de travail associées à la préparation et à la supervision des opérations.

Recommandation 12 – Incitations : renforcer les incitations à la qualité du portefeuille :

❙ En établissant des indicateurs significatifs de la qualité à l’entrée qui ont un lien avéré avec l’avancement de la mise en œuvre du projet, et en suivant ces indicateurs au fil du temps ;


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

❙ En faisant figurer des indicateurs de qualité à l’entrée et de constitution de la réserve parmi les principaux indicateurs de performance de la Banque ;

❙ En prenant des mesures qui établissent des liens entre les indicateurs d’assurance qualité de supervision avec l’évaluation de la performance des chefs de projet et des chefs de division.

Phot

o: ©

BAD

Annexes


Annexe A — Cadre d’assurance qualité tout au long du cycle de vie des projets

Les opérations financées par la Banque et les PMR suivent un processus désigné « le cycle de projet », qui représente un processus de gestion continu appliqué tout au long du cycle de vie qui comprend sept phases : programmation, identification, préparation, évaluation, approbation, exécution et achèvement.

Le cadre d’évaluation appliqué pour le contrôle de la qualité pendant le cycle de projet peut se résumer comme suit :

❙ À l’entrée, le cadre de contrôle de la qualité comprend diverses évaluations liées à la diligence raisonnable et destinées à s’assurer que chaque projet satisfait à un minimum de normes de qualité de conception et d’état de préparation lorsqu’il entre dans le portefeuille de la Banque, relativement aux éléments suivants : i) alignement stratégique et sélectivité des projets ; ii) bonne qualité de conception (notamment viabilité technique, économique et financière de l’investissement, évaluabilité des résultats du projet et réalisme de la logique d’intervention) ; et iii) état de préparation à l’exécution (notamment mécanismes d’exécution réalistes, modalités anticipées de passation des marchés, peu de conditions suspensives, état de préparation à la gestion des risques environnementaux et sociaux)84. Par conséquent, la qualité à l’entrée est un état de préparation qui rend un projet susceptible d’être exécuté et d’atteindre les résultats de développement prévus.

❙ Au cours de l’exécution des projets, la Banque assure une supervision ou un suivi réguliers pour garantir i) l’exécution en temps voulu des projets ; ii) la gestion des difficultés et des risques liés à l’exécution (risques de développement, opérationnels, de conformité et fiduciaires) ; iii) l’établissement de rapports sur les progrès réalisés en vue de l’atteinte des résultats attendus ; et iv) que des enseignements sont tirés de la réalisation des projets. Dans ce contexte, la qualité de la supervision s’entend de la mesure dans laquelle la Banque identifie et s’attaque de manière proactive aux menaces qui pèsent sur la réalisation des résultats de développement des projets et rend compte du respect des règles et procédures, ainsi que des résultats obtenus grâce à la supervision au bureau et sur le terrain et du soutien à l’exécution des projets. Deux principaux instruments sont utilisés pour le suivi de l’exécution : la supervision des projets et la supervision des portefeuilles. Même si la présente évaluation se concentre sur la supervision des projets, les implications de la supervision des portefeuilles sur le cycle des projets sont également évoquées, le cas échéant85.

❙ L’achèvement commence par la préparation des activités de clôture du projet et la production d’un rapport d’auto-évaluation sur l’achèvement du projet, qui doit être axé sur les résultats et la compilation d’expériences et d’enseignements pour éclairer les nouveaux programmes. Les directives de la Banque pour la qualité à la sortie soulignent la nécessité d’aborder les questions de durabilité liées aux responsabilités financières, en matière de maintenance et institutionnelles.

75Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Assurance qualité pour les opérations du secteur public

Qualité à l’entrée des opérations du secteur public

L’évaluation par les pairs constitue le premier cycle officiel de la revue de la note conceptuelle du projet (NCP) et du rapport d’évaluation du projet (REP) en dehors du département d’origine. Les pairs évaluateurs devraient être officiellement choisis par les responsables régionaux ou sectoriels en fonction de leur expérience et être chargés de fournir une rétroaction sur la qualité de la conception technique d’une opération proposée dans le cadre d’un secteur donné.

La revue de l’état de préparation est un outil qui permet de cerner et de régler les problèmes de qualité des projets pendant leur préparation. À l’étape de l’élaboration de la note conceptuelle du projet, la revue de l’état de préparation sert de filtre pour déterminer si un projet est prêt pour l’évaluation ou si des informations supplémentaires doivent être recueillies avant que le projet ne passe à l’étape suivante dans le cycle du projet. À la phase d’évaluation, la revue de l’état de préparation est reprise de façon plus détaillée afin de déterminer si une opération proposée est prête à être présentée au Conseil pour approbation. En 2013, la revue de l’état de préparation a été mise à jour86 de manière à se focaliser davantage sur l’analyse des problèmes, la qualité de la chaîne des résultats, l’intégration des enseignements tirés, les aspects fiduciaires, et la préparation à l’exécution du projet. L’échelle de notation a été modifiée, passant d’une échelle de six points à une échelle de quatre points, par souci de cohérence avec les autres outils d’établissement de rapports sur les projets exécutés dans toute la Banque. En outre, la revue de l’état de préparation a été décentralisé et est maintenant mené par des points focaux formés (généralement des responsables de programme pays) dans les bureaux régionaux de la Banque. Toutes les dimensions sont évaluées par le point focal de la revue de l’état de préparation, exception faite : i) des critères fiduciaires (évalués par le secrétariat du Département des acquisitions et des services fiduciaires ; ii) des critères d’égalité entre les sexes, évalués par la division de la Banque pour les questions de genre ; et iii) des critères de sauvegardes environnementales et sociales examinés par la Division de la conformité et des sauvegardes de la Banque.

La revue par l’équipe pays est un élément clé du contrôle de la qualité pour toutes les opérations de la Banque, et constitue le filtre final avant l’approbation de la Direction et du Conseil. En vertu de la Directive présidentielle 03/2013, les opérations d’une valeur inférieure à 20 millions d’UC peuvent être autorisées pour soumission au Conseil par l’équipe pays. Les principaux objectifs de la revue par l’équipe pays sont les suivants : i) s’assurer que les opérations sont conformes aux politiques et priorités de la Banque et des PMR ; et ii) veiller à la qualité des documents relatifs aux opérations. De manière plus spécifique, l’équipe pays

Tableau A.1: Jalons de la préparation des projets pour les opérations du secteur public

Opérations du secteur publicÉtape du cycle du projet Jalon Outil de contrôle de la qualitéIdentification Énoncé de projet Aucun

Préparation Note conceptuelle du projet Évaluation par les pairsRevue de l’état de préparationRevue par l’équipe de pays

Évaluation Rapport d’évaluation du projet Évaluation par les pairsRevue de l’état de préparationRevue par l’équipe de pays


discute des commentaires fournis par les différents mécanismes d’examen et de la façon dont ces questions ont été abordées.

Qualité de la supervision des opérations du secteur public

Une mission de lancement de projet est entreprise peu après la signature du prêt. La mission de démarrage vise à informer et à former le personnel de l’organe d’exécution du projet aux procédures de la Banque en la matière. La mission a besoin d’une équipe multidisciplinaire pour gérer les différents aspects des procédures d’exécution. L’équipe est normalement constituée d’un chef de projet, d’experts fiduciaires, d’un chargé de décaissement, et d’experts en sauvegardes environnementales et sociales.

La supervision sur dossier est une activité quotidienne du chef de projet qui vise à garder un contact constant avec l’emprunteur ou le client. Il est question d’examiner les rapports périodiques et de répondre aux questions des organes d’exécution du projet et de l’emprunteur, en plus d’examiner les rapports d’avancement établis par l’emprunteur ou le client.

Les missions de supervision produisent les rapports de fin de mission et des REE. Les rapports sur l’état d’avancement de l’exécution ont été introduits en 2011 pour établir des liens avec les cadres logiques axés sur les résultats des projets et améliorer la gestion des risques et l’orientation des actions. Ce type de rapport est devenu obligatoire pour toutes les opérations du secteur public à partir de 2013.

Missions de supervision spécialisées. Dans le cadre de l’engagement de la Banque d’améliorer la qualité de l’exécution, des missions spéciales sont entreprises par des fonctions clés de la Banque pour traiter des projets à risque ou des questions importantes liées à l’exécution des projets. Ces missions visent aussi à renforcer la capacité de l’emprunteur à satisfaire à toutes les conditions définies. Ces missions comprennent des missions de décaissement, des missions d’audit et de gestion financière, des missions sur les sauvegardes environnementales, entre autres, selon les besoins.

Les revues à mi-parcours évaluent les progrès accomplis et permettent à la Banque et aux emprunteurs de prendre des décisions concrètes pour améliorer la probabilité que le projet atteigne ses résultats. Elles sont également utiles lorsque des changements majeurs sont nécessaires pour mettre l’opération sur la bonne voie afin qu’elle atteigne ses objectifs de développement. La revue à mi-parcours implique une supervision approfondie et poussée qui couvre tous les aspects des activités du projet. Elle peut conduire à une reformulation du projet (modification de la conception ou de la portée du projet), à l’annulation du décaissement ou à la suspension d’une ou de plusieurs composantes du prêt jusqu’à ce qu’une conformité satisfaisante soit atteinte, ou à l’annulation du prêt si l’on décide que celui-ci ne répond plus aux priorités nationales ou si l’exécution est sérieusement entravée par des problèmes qui ne peuvent pas être réglés par des résolutions réalistes.

Qualité à la sortie des opérations du secteur public

Le Manuel des opérations de la Banque (version de 2014) définit trois étapes à suivre pour garantir la qualité à la sortie des opérations du secteur public : la préparation du rapport d’achèvement du projet, l’examen et la validation d’IDEV.

77Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Le rapport d’achèvement du projet doit être préparé dans les six mois suivant la date à laquelle un projet atteint un taux de décaissement cumulatif de 98 % ou lorsqu’il est pratiquement achevé. La préparation du RAP peut être lancée dès qu’un projet a déboursé 85 % de ses ressources. Dans le cas des opérations d’appui programmatique, un RAP complet est préparé à la fin du programme. La mission liée au RAP implique la consultation des organes d’exécution et des autres parties prenantes. Le processus d’examen et d’approbation du RAP est le suivant :

❙ L’approbation par le chef de division sectoriel. Elle intervient après l’achèvement de la première ébauche dans les dix jours ouvrables qui précèdent la soumission aux pairs évaluateurs ;

❙ L’évaluation par les pairs. L’ébauche du RAP est envoyée aux pairs évaluateurs. Les directives exigent qu’au moins un pair évaluateur soit de préférence basé dans un bureau extérieur ou justifie d’une expérience en la matière ;

❙ L’approbation par l’équipe pays ou régionale. À la suite d’une réunion officielle ou virtuelle, le chef de division sectoriel envoie le document au Directeur régional pour approbation. Le document révisé est soumis au Directeur régional pour approbation finale.

La publication et la distribution. Après la traduction, le RAP est affiché et l’actualité du document est évaluée en fonction de la date de réception par courriel. Le Secrétariat général met à disposition le RAP dans les deux langues dans le système DARMS et envoie une copie du rapport au Conseil pour information.

L’évaluation du RAP par IDEV. Il s’agit notamment de l’examen de la qualité de chaque rapport d’achèvement de projet produit par la Banque. L’examen des RAP permet d’obtenir une « note d’évaluation du RAP » qui évalue l’objectivité de la mesure du rendement, la pertinence des leçons et des recommandations, et fournit une évaluation générale de la qualité.

Assurance qualité pour les opérations du secteur privé

Qualité à l’entrée des opérations du secteur privé

Trois principaux mécanismes d’examen de la qualité sont appliqués aux opérations du secteur privé de la Banque tout au long du cycle du projet : i) l’évaluation de l’additionnalité et des résultats en matière de développement (ADOA) ; ii) la note de crédit sommaire (SCN) ; et iii) la revue par l’équipe de direction départementale (aujourd’hui DCC). Les objectifs et la structure de ces examens sont décrits dans les sections qui suivent.

Tableau A.2 : Jalons de la préparation des projets pour les opérations du secteur privé

Private Sector OperationsÉtape du cycle du projet Jalon Outil de contrôle de la qualitéIdentification Note d’évaluation du projet Revue par la DMT/DCC

Préparation Note conceptuelle du projet ADOANote de crédit sommaireRevue par la DMT/DCC

Évaluation Rapport d’évaluation du projet ADOA Note de crédit sommaireRevue par la DMT/DCC


L’Évaluation de l’additionnalité et des résultats en matière de développement (ADOA) a été introduite en 2008 en tant que cadre pour l’évaluation ex ante de l’additionnalité potentielle et des résultats en matière de développement des opérations du secteur privé87. La méthode d’évaluation de l’additionnalité a ensuite été révisée en 2014 pour renforcer l’alignement sur les priorités de la Stratégie décennale, harmoniser les indicateurs utilisés par les autres IFI et accroître la transparence des pondérations et de la méthodologie de notation. L’ADOA évalue l’additionnalité et la contribution potentielle aux résultats de développement au cours de la durée de vie économique d’une opération du secteur privé. La « durée de vie économique » d’une opération varie en fonction du type d’investissement. Pour les projets d’infrastructure, cette période englobe la mise en place et l’exploitation de l’investissement. Pour les projets impliquant des intermédiaires financiers, y compris les lignes de crédit et les prises de participation, cette période correspond à la période pendant laquelle les fonds sont utilisés par l’intermédiaire.

La note de crédit sommaire joue un rôle particulièrement important dans l’approbation des opérations du secteur privé en donnant une indication de la viabilité commerciale de l’opération, ainsi que de ses potentiels risques de crédit et de mise en œuvre. La note de crédit sommaire comprend une évaluation préliminaire du risque du projet effectuée par le responsable du risque de crédit, et fournit une évaluation préliminaire du risque pour revue par l’équipe d’évaluation du projet. Le processus de gestion du risque de crédit commence lorsque la note d’évaluation du projet est approuvée. Premièrement, un examen de haut niveau est effectué pour s’assurer que l’opération respecte les limites d’exposition de la Banque aux risques si elle venait à être approuvée. Lorsque la note conceptuelle du projet est préparée, le responsable du crédit procède à une évaluation préliminaire qui relève les principaux risques inhérents au projet, et attribue une note préliminaire. La notation préliminaire du risque est revue et ajustée au besoin au cours du processus d’évaluation du projet, jusqu’à ce qu’une note finale soit confirmée par le comité de notation interne et le comité du risque de crédit. Cette note est ensuite soumise, en même temps que le RAP, aux fins d’approbation ultérieure par la direction et le Conseil d’administration.

L’équipe de direction départementale/comité d’approbation des opérations (DMT/DCC) est chargé(e) de superviser la réserve de projets de la Banque et de veiller à ce que toutes les opérations proposées soient solides et conformes aux objectifs du département88. DMT/DCC englobe tous les responsables du département en charge des opérations du secteur privé, et est présidé par le directeur de département. Le directeur peut faire appel à tout autre agent du département en fonction de la spécificité du projet et des compétences ou connaissances de l’agent en question. DMT/DCC peut également faire appel à du personnel d’autres départements sectoriels pour fournir une expertise particulière, au besoin. De ce fait, DMT/DCC est responsable de l’examen et de l’approbation des principaux jalons, y compris la note d’évaluation du projet, la note conceptuelle du projet et le rapport d’évaluation du projet.

La revue par l’équipe pays est un élément clé du contrôle de la qualité pour toutes les opérations de la Banque, et constitue le filtre final avant l’approbation de la direction et du Conseil. En vertu de la Directive présidentielle 03/2013, les opérations d’une valeur inférieure à 20 millions d’UC peuvent être autorisées pour soumission au Conseil par l’équipe de pays. Les principaux objectifs de la revue par l’équipe pays sont les suivants : i) s’assurer que les opérations sont conformes aux politiques et priorités de la Banque et des PMR ; et ii) veiller à la qualité des documents relatifs aux opérations. De manière plus spécifique, l’équipe pays discute des commentaires fournis par les différents mécanismes d’examen et de la façon dont ces questions ont été abordées.

79Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

La réunion de l’équipe pays est présidée par le directeur régional ou le responsable de programme pays, l’administrateur de programme pays faisant office de secrétaire, et les autres membres étant choisis par le chargé de programme pays en consultation avec le directeur sectoriel. La participation aux réunions de l’équipe pays est obligatoire pour l’économiste principal, les experts en chef et les représentants pour les questions juridiques, politiques, d’acquisition et financières.

Les comptes rendus des réunions de l’équipe de pays sont publiés et examinés en amont, y compris par le vice-président de secteur, qui peut autoriser des opérations comprises entre 20 et 100 millions d’UC, et par l’OPSCOM, qui autorise des opérations de 100 millions d’UC et plus, toutes les opérations relatives aux questions environnementales et sociales classées en catégorie 1 des sauvegardes environnementales et sociales, et les projets impliquant un risque potentiel pour la réputation.

Qualité de la supervision des opérations du secteur privé

Rapports des entreprises bénéficiaires. Cette section porte sur les obligations d’établissement de rapports spécifiques au projet imposées aux clients, y compris les rapports financiers trimestriels, les comptes annuels vérifiés, la soumission de certificats d’assurance à chaque année de déclaration, et les rapports sur la conformité environnementale et sociale validés par l’emprunteur.

Examens des rapports des clients. Cet outil exige une surveillance et un suivi systématiques à la réception des rapports attendus des clients. Il exige l’utilisation de la lettre d’exigence en matière de rapports comme liste de contrôle pour les clients afin de surveiller trimestriellement quels rapports sont attendus et quand ils sont réellement reçus. L’instrument assure également un examen de ces rapports et l’identification des problèmes émergents.

Les rapports du conseiller technique du prêteur pour des opérations spécifiques, à l’instar d’opérations importantes et complexes telles que les projets énergétiques innovants, les projets miniers, les grands projets (dont la valeur dépasse 500 millions de dollars, etc). Pour de tels projets d’investissement, le client est tenu d’engager une équipe technique spécialisée pour assurer la supervision du site du projet et la production de rapports d’avancement.

En ce qui concerne l’établissement de rapports, les opérations du secteur privé ont également des spécificités qui diffèrent de celles des opérations du secteur public et varient en fonction du type d’opération, selon qu’il s’agit d’une opération financière ou non financière/d’investissement. D’autre part, le modèle du secteur privé met davantage l’accent sur la viabilité financière, la rentabilité et la durabilité de l’entreprise bénéficiaire, et moins sur la détermination des résultats en matière de développement.

Les missions de supervision doivent, conformément aux règles de la Banque, être menées deux fois par an pour les projets problématiques et au moins une fois par an pour les opérations ordinaires. Le suivi et la supervision du portefeuille du secteur privé adoptent une approche fondée sur les risques, conformément aux bonnes pratiques des autres BMD. Cette approche vise à remédier aux contraintes de ressources tout en favorisant la qualité de la gestion du portefeuille. Les missions de supervision produisent les rapports de fin de mission et des rapports de supervision qui alimentent les rapports annuels de supervision lors des exercices de revue de portefeuille, dans le cadre de la supervision du portefeuille.


Qualité à la sortie des opérations du secteur privé

Le rapport de supervision élargi constitue le principal outil utilisé pour mesurer la qualité à la sortie des opérations du secteur privé. Le rapport de clôture du projet, qui confirme que toutes les obligations du client à l’égard de la facilité ont été respectées, est un autre outil d’importance.

Le rapport de supervision élargi est le principal résultat de l’étape de sortie pour les opérations du secteur privé. Il fournit une évaluation de la mesure dans laquelle les objectifs du projet ont été atteints et des résultats de développement obtenus. Selon le manuel des opérations du secteur privé89, l’établissement du rapport de supervision élargi commence dès la confirmation de la maturité opérationnelle précoce du projet. La définition de l’achèvement varie d’un projet à l’autre, mais elle se rapporte à l’achèvement des travaux de construction, au décaissement intégral des fonds en vertu des accords de financement, et à l’atteinte de jalons précis, à l’instar des seuils de production et de recettes.

Les différentes étapes à suivre pour assurer la qualité à la sortie des projets du secteur privé sont décrites en détail dans les directives de la Banque pour le rapport de supervision élargi90 et résumées ci-dessous.

❙ L’examen de toute la documentation du projet depuis le début jusqu’à la date d’établissement du rapport de supervision élargi, de la recherche et de l’analyse sur le terrain. Le projet de rapport de supervision élargi devrait être finalisé, les notes attribuées et la justification de chaque note fournie.

❙ Le projet de rapport de supervision élargi est examiné au sein du Département du secteur privé de la Banque, en collaboration avec l’équipe pays et, le cas échéant, avec IDEV. Les commentaires devraient se limiter à mettre en évidence toute lacune apparente en matière d’évaluation ou toute interprétation erronée des directives pour l’établissement des rapports de supervision élargis.

❙ Le Directeur du Département du secteur privé approuve la version finale du rapport de supervision élargi, qui est ensuite transmisse à l’OPSCOM ou au Comité d’investissement pour information. Le rapport de supervision élargi est également envoyé à IDEV pour une évaluation indépendante des notations et la préparation d’une note de synthèse.

❙ IDEV examine le rapport de supervision élargi afin d’évaluer sa conformité aux directives pour l’établissement du rapport, ainsi que l’objectivité de ses notes de rendement, de ses constatations et des leçons apprises. La note d’examen d’IDEV fait l’objet d’une discussion avec le Département du secteur privé avant d’être finalisée, en particulier en cas de différences entre les notes de performance et les enseignements tirés.

❙ IDEV transmet la note d’examen et le rapport de supervision élargi au Conseil d’administration et au Comité des opérations et pour l’efficacité du développement (CODE) pour information.

81Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Annexe B — Critères en matière de sauvegardes environnementales et sociales tout au long du cycle

La Banque a mis à jour son système de sauvegardes en 2013 à la suite d’une vaste consultation. Le Système de sauvegardes intégré (SSI) a été conçu pour mieux s’harmoniser avec les nouvelles politiques et stratégies de la Banque, notamment la nouvelle Stratégie décennale (2013–2022) et les High 591. Le SSI visait, entre autres :

❙ À mettre à jour les politiques existantes afin d’adopter de bonnes pratiques internationales, notamment en matière de changement climatique ;

❙ À adapter les politiques afin de mieux promouvoir l’évolution de la gamme des produits de prêt et de modalités de financement innovantes, principalement les opérations à l’appui des réformes et le soutien aux intermédiaires financiers92 ; et

❙ À améliorer les processus internes et l’affectation des ressources93.

Diverses politiques éparses étaient pertinentes pour les questions environnementales et sociales avant 2013. À cette époque, les questions liées aux sauvegardes étaient mises en œuvre au moyen des Procédures d’évaluation environnementale et sociale (PEES) pour les opérations du secteur public approuvées en 2001, des procédures d’évaluation environnementale pour les opérations du secteur privé (2000) et des notes d’orientation sur l’évaluation intégrée des impacts environnementaux et sociaux (EIIES) de 2003. La Politique en matière de déplacement involontaire de populations de 2003 a également joué un rôle clé avant l’approbation du SSI. Le Système de sauvegardes intégré comprend un énoncé de politique, cinq sauvegardes opérationnelles et des versions mises à jour des PEES et de l’EIIES (2015). Les PEES révisées tenaient compte des limites des précédents et fournissaient une base procédurale solide pour la mise en application du SSI. Le nouveau SSI est entré en vigueur en juillet 2014 et les projets approuvés auparavant sont progressivement ramenés aux mêmes critères grâce aux missions de supervision et à la mise à jour des études clés pendant l’exécution.

La figure A.1 résume les principales conditionnalités du SSI à chaque étape du cycle du projet, telles qu’elles sont définies dans les PEES, de l’identification du projet à son achèvement. La mise en application des sauvegardes environnementales et sociales au niveau du projet implique diverses activités de diligence raisonnable, d’examen et de supervision que la Banque entreprend tout au long du cycle du projet pour s’assurer que l’emprunteur respecte les critères des SES/du SSI. Différents documents liés aux questions environnementales et sociales sont élaborés par l’emprunteur et validés par la Banque, en fonction du type de projet et du risque de l’intervention sur le plan social et environnemental.

Les évaluations environnementales et sociales (EES) sont principalement la responsabilité de l’emprunteur dans les deux systèmes (avant et après le SSI). Toutefois, à différents stades du cycle du projet, les départements sectoriels de la Banque, la Division de la conformité et des sauvegardes (devenue SNSC) et le département juridique (GECL) sont chargés d’assister l’emprunteur et de veiller au respect des critères de la Banque en matière de sauvegardes environnementales et sociales94. Au sein de la Banque, les chefs de projet sont chargés d’assurer la conformité des opérations de la Banque avec les PEES, avec l’appui d’experts en matière de sauvegardes environnementales et sociales. Les paragraphes qui suivent résument les principales modalités et responsabilités tout au long du cycle du projet de la Banque, en mettant l’accent sur la diligence raisonnable que doit exercer le personnel de la Banque pour assurer la conformité avec les politiques de sauvegardes environnementales et sociales.


À l’entrée, pour les deux périodes (avant et après le SSI), l’emprunteur, qu’il s’agisse d’un pays ou d’un promoteur/client privé, est chargé d’entreprendre et de publier les évaluations environnementales et sociales du projet95. Les départements sectoriels de la Banque, appuyés par les spécialistes des sauvegardes environnementales et sociales de la Banque, sont chargés de valider et de résumer ces évaluations environnementales et sociales et de veiller à ce que les aspects environnementaux et sociaux soient correctement intégrés dans le Rapport d’évaluation du projet96. Au cours de ce processus, le spécialiste des sauvegardes de la Banque classe le projet dans la catégorie « ES » au projet et décide quelles évaluations environnementales et sociales doivent être menées ou complétées.

Au cours de l’exécution, l’emprunteur est chargé d’assurer un suivi efficace des mesures d’atténuation environnementales et sociales incluses dans le PGES et/ou le RAP et de présenter à la Banque un rapport trimestriel sur la mise en œuvre du PGES/du SGES. Les départements sectoriels de la Banque examinent ces rapports, avec l’appui et l’autorisation des spécialistes des sauvegardes environnementales et sociales de la Banque. Ces informations sur les questions environnementales et sociales sont résumées dans le REE pour les projets du secteur public ou dans le Rapport de supervision de projet (RSP) pour les projets du secteur privé97. Un processus similaire est suivi pour les rapports d’achèvement de projet98.

Le tableau suivant a été reconstruit sur la base des procédures PEES 2001 (avant le SSI) et des procédures PEES 2015 (après le SSI). Les principales différences entre les deux systèmes et procédures sont relevées, au besoin. L’évaluation ne porte pas sur les résultats des étapes d’identification et de préparation sur le plan environnemental et social, qui n’étaient pas disponibles pour un grand nombre de projets de l’échantillon, notamment les mémos de classement par catégorie à la phase d’identification.

Figure A.1 : Activités de gestion des risques environnementaux et sociaux dans le cadre du système de procédures d’évaluation sociales de la Banque

Sélection préliminaire

• REP RAP • Catégorisation• EIES et PGES

• RAP REP • EIES et PGES• Validation et diffusion

Articles consacrés au PGES dans l’accord de prêt

Établissement de rapports de suivi, audit de conformité choisi

Mise en œuvre et supervision

Achèvement et évaluation ex post

Programmation par pays

Audit de conformité choisi, évaluation ex post

EESS Identification du projet

Préparation des projets

Évaluation des projets

Négociations des prêts

Cycle du projet

Conformité produit et processus

Source : Exposé du Département de la sauvegarde et de la conformité

83Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Les projets de catégorie 1 sont ceux qui sont susceptibles d’avoir les impacts environnementaux les plus graves et qui nécessitent une EIES complète ; les projets de catégorie 2 ont des impacts environnementaux propres au site qui peuvent être atténués par l’application de mesures d’atténuation incluses dans un PGES ; les projets de catégorie 3 n’ont aucune incidence environnementale négative et ceux de catégorie 4 impliquent un investissement des ressources financières de la Banque, par le truchement des intermédiaires financiers, dans des sous-projets pouvant entraîner des effets environnementaux négatifs.

Tableau A.3 : Catégories de projets

Catégorie Description1 ❙ Opérations de la Banque susceptibles de causer des impacts environnementaux et sociaux significatifs, y compris

tout projet nécessitant un Plan d’action de réinstallation intégral.

2 ❙ Opérations de la Banque où les impacts environnementaux et sociaux probables sont peu nombreux, liés au site, largement réversibles et faciles à minimiser par l’application de mesures de gestion et d’atténuation appropriées.

3 ❙ Opérations de la Banque présentant des risques environnementaux et sociaux négligeables. Après la catégorisation, aucune autre mesure n’est requise, bien que les évaluations puissent être bénéfiques pour la gestion des impacts potentiellement imprévus sur les collectivités touchées.

4 ❙ Opérations de la Banque impliquant des prêts aux intermédiaires financiers qui rétrocèdent ou investissent dans des sous-projets pouvant produire des effets environnementaux et sociaux négatifs. Les intermédiaires financiers sont tenus de :

❙ Disposer de politiques de gouvernance environnementale et sociale adéquates au sein de l’entreprise, d’appliquer les SO de la Banque à leurs sous-projets équivalents aux catégories 1 et 2, et de se conformer aux exigences environnementales et sociales locales ;

❙ Développer et maintenir un SGES en adéquation avec les SO de la Banque et correspondant à la portée et à la nature de leurs activités ;

❙ Démontrer qu’ils disposent de l’engagement de la Direction, de la capacité organisationnelle, des ressources et de l’expertise pour appliquer leur SGES aux sous-projets ; et

❙ Développer et mettre à la disposition du public, sur leur site Internet, un résumé du SGES, et utiliser la liste négative de la Banque (qui comprend les biens qui sont nocifs pour l’environnement), dans la sélection des sous-projets.

Sous-catégorie IF-A

❙ Le portefeuille proposé de l’intermédiaire financier est considéré comme à haut risque, et peut comporter des sous-projets susceptibles de rentrer dans la catégorie 1.

Sous-catégorie IF-B

❙ Le portefeuille proposé de l’intermédiaire financier est considéré comme ayant un niveau de risque moyen, et peut comporter des sous-projets susceptibles de rentrer dans la catégorie 2.

Sous-catégorie IF-C

❙ Le portefeuille proposé de l’intermédiaire financier est considéré comme étant à faible risque, et peut comporter des sous-projets susceptibles de rentrer dans la catégorie 3.


Tableau A.4 : Critères de la Banque en matière de contrôle de la qualité des sauvegardes environnementales et sociales tout au long du cycle du projet

Étape du cycle du projet

Type de projet Exigence de la Banque en matière de contrôle de la qualité des sauvegardes environnementales et sociales

Résultats environnementaux et sociaux examinés dans le cadre de la présente évaluation

Évaluation du projet et présentation au Conseil d’administration

Projets de catégorie 1 et 2

Les départements sectoriels examinent les évaluations environnementales et sociales préparées par l’emprunteur, la Division de la conformité et des sauvegardes valide ces évaluations et prépare des résumés.

❙ Résumés de l’évaluation environnementale et socialea

❙ Intégration de l’information sur les questions environnementales et sociales dans le RAP

❙ Intégration des conditions de prêt et des clauses dans l’accord de prêt du projet/le Plan d’action de réinstallation

Catégorie 4. Les départements sectoriels intègrent le résumé du SGES ou le document d’information sur la diligence raisonnable dans le rapport d’évaluation du projet, qui a déjà été examiné et validé par la Division de la conformité et des sauvegardes (PEES 2011 : évaluer le rendement et les capacités des IF en matière environnementale et sociale).

❙ Intégration du résumé du SGES ou des informations de diligence raisonnable dans le rapport d’évaluation du projet.

❙ Intégration des conditions de prêt et des clauses dans l’accord de prêt du projet/le Plan d’action de réinstallation

Exécution et supervision du projetb

Projets de catégorie 1, 2 et 4

Les départements sectoriels examinent les rapports d’exécution trimestriels établis par l’emprunteur et supervisent l’exécution du PGES/SGES. Chaque fois qu’une non-conformité est observée ou que des impacts inattendus surviennent, les départements sectoriels demandent à l’emprunteur de revoir le PGES/SGES. Ces changements doivent être approuvés par la Division de la conformité et des sauvegardes.

Informations environnementales et sociales dans le REEc

et le rapport de supervision de projetd

Achèvement du projet

Projets de catégorie 1, 2 et 4

Les départements sectoriels intègrent le contenu environnemental et social dans le RAP qui est examiné par la Division de la conformité et des sauvegardes.

RAP avec des informations sur les questions environnementales et sociales

a Les évaluations environnementales et sociales ou leurs résumés ont des portées et des noms différents selon la catégorie de projet et les Procédures d’évaluation environnementale et sociale 2001 ou 2015. Pour les PEES 2001, il s’agit de l’EIES, du PGES, de l’évaluation environnementale et sociale sectorielle et régionale, et de l’évaluation stratégique des prêts d’ajustement structurel et sectoriel. Pour les PEES 2015, incluent cette exigence générique uniquement en tant que principal résultat sur le plan environnemental et social à l’étape d’exécution. Le modèle de REAE présentéil s’agit de l’évaluation environnementale et sociale stratégique (EESS), du cadre de gestion environnementale et sociale (CGES), de l’EIES, du PGES, du PAR intégral/PAR abrégé et du SGES.

b Outre la supervision périodique des projets (assurée par les départements sectoriels et appuyée par des spécialistes des sauvegardes environnementales et sociales pour la catégorie 1 (et d’autres projets sur demande), la Division de la conformité et des sauvegardes et l’Unité de vérification de la conformité et de médiation procèdent à des examens supplémentaires de la conformité.

c Les PEES 2015 incluent cette exigence générique uniquement en tant que principal résultat sur le plan environnemental et social à l’étape de l’exécution. relatif au respect des sauvegardes environnementales et sociales. Il recommande d’inclure un rapport sur le respect des engagements dans l’annexe 3 du REAE. Les PEES 2001 demandaient à l’emprunteur d’envoyer uniquement des rapports trimestriels à la Banque sur l’exécution du PGES. La responsabilité de la Banque se limite à les examiner et à demander une révision du PGES si les conditions convenues ne sont pas satisfaites ou si des impacts imprévus sont constatés (pour les catégories 1 et 2). Il est supposé que ces informations doivent être résumées dans les rapports de supervision de projet.

d Les procédures environnementales de la Banque pour les opérations du secteur privé (2000) prévoient que les rapports de supervision de la Banque comprennent une section sur le respect des clauses environnementales et sociales incluses dans les contrats d’investissement. Les PEES 2015 (applicables aux opérations des secteurs privé et public) sont moins explicites pour le secteur privé. Le document ne fournit pas de modèle pour la section environnementale et sociale du rapport de supervision de projet.

85Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Annexe C — Méthodologie de l’évaluation

Méthodologie de l’évaluation

L’évaluation a été effectuée suivant des méthodes mixtes qui triangulent de multiples sources de données qualitatives et quantitatives et s’appuient sur plusieurs techniques d’analyse des données. L’approche d’évaluation harmonisée utilisée pour les évaluations de la qualité à l’entrée et de la qualité de la supervision garantit : i) que les questions communes sont abordées de la même manière à l’aide d’un cadre commun ; ii) que les liens potentiels entre les différents processus sont systématiquement explorés ; et iii) que des synergies d’exécution concernant les échantillons, les parties prenantes et les outils de collecte de données sont identifiées et exploitées.

À l’appui de l’évaluation, les deux principales composantes de l’évaluation (qualité à l’entrée et qualité de la supervision) ont élaboré des « théories du changement » pour identifier les voies potentielles par lesquelles le cadre de contrôle de la qualité à chaque étape du cycle du projet contribue à la réalisation des résultats du projet et à l’apprentissage institutionnel. Cette information est synthétisée dans une théorie du changement couvrant l’ensemble du cycle du projet, qui figure à l’annexe D. La « théorie du changement » est alignée sur les matrices des deux évaluations, qui comprennent les questions d’évaluation, les indicateurs et les sources de données qui ont été triangulées pour parvenir à des constatations et à des recommandations de l’évaluation.

L’approche méthodologique harmonisée comprend plusieurs niveaux d’analyse qui représentent des sources de données communes et permettent un examen graduellement plus approfondi d’un échantillon d’opérations des secteurs public et privé approuvées pendant la période d’évaluation (2012–2017). La méthodologie de l’évaluation de la qualité à l’entrée et de la qualité de la supervision repose sur l’examen d’un échantillon de projets des secteurs public et privé, ainsi que sur les questions de sauvegardes environnementales et sociales.

L’évaluation a procédé à un examen documentaire qualitatif et à une validation d’un échantillon de projets au regard des pratiques exemplaires afin de valider les notations existantes incluses dans les documents de la Banque tout au long du cycle du projet. L’évaluation de la qualité à l’entrée et de la qualité de la supervision a permis de mettre au point un outil de validation théorique des meilleures pratiques adapté aux opérations des secteurs public et privé, ainsi qu’un outil spécifique aux opérations d’appui aux réformes pour la qualité à l’entrée. L’évaluation a été menée par des experts justifiant d’au moins 10 ans d’expérience dans la conception, l’exécution et l’évaluation de projets dans le secteur correspondant.

❙ L’outil d’évaluation de la qualité à l’entrée a été appliqué à un échantillon aléatoire de 120 projets du secteur public et à 50 projets du secteur privé (2013–2017).

❙ L’outil d’évaluation de la qualité de la supervision a été appliqué à un échantillon ciblé de 45 projets du secteur public et de 22 projets du secteur privé qui ont pris effet en 2012, et dont les taux d’avancement ou de décaissement étaient d’au moins 40 %. Afin d’élargir l’échantillon des projets achevés, certains projets sectoriels privés entrés en vigueur en 2009 ont été ajoutés à l’échantillon.


Un examen qualitatif des projets a également été entrepris afin d’examiner la façon dont le cadre de contrôle de la qualité est appliqué et contribue à la qualité du portefeuille pour deux échantillons ciblés :

❙ Pour ce qui est de la qualité à l’entrée, l’examen a été effectué sur un échantillon ciblé de 60 opérations du secteur public et 50 opérations du secteur privé.

❙ En ce qui concerne la qualité de la supervision, le processus d’examen (basé sur le tableau de bord du contrôle de la qualité) a porté sur 83 opérations du secteur public et 38 opérations du secteur privé.

En outre, l’évaluation a utilisé un outil de validation théorique pour examiner la conformité aux sauvegardes environnementales et sociales d’un sous-échantillon de 89 projets des catégories 1, 2 et 4, issus d’une combinaison d’échantillons de « qualité à l’entrée » et de « qualité de la supervision ».

L’évaluation a mené une analyse qualitative comparative de cinq études de cas pays99 et de 24 projets en cours. Ces informations découlaient de la triangulation des réponses obtenues lors d’entretiens avec les principales parties prenantes dans les pays, notamment les emprunteurs (personnel de l’unité d’exécution du projet et promoteurs privés), les entrepreneurs, les autorités nationales chargées du cycle de gestion des investissements du projet et les autres donateurs. En outre, des visites sur le terrain ont été effectuées pour 12 des 24 projets.

Enfin, les examens menés au niveau des projets et des pays ont été contextualisés par des consultations avec les intervenants et des entretiens avec les parties prenantes de la Banque100, un examen comparatif avec des organisations dont le contexte institutionnel, la taille et la portée des projets sont similaires, une analyse documentaire, et un sondage auprès des parties prenantes. Le sondage a été envoyé à 422 membres du personnel appartenant à huit groupes professionnels, mais seulement 101 réponses ont été reçues. En raison du faible taux de réponse à l’enquête, IDEV a utilisé les réponses de certains groupes professionnels uniquement pour les questions présentant une marge d’erreur raisonnable, quoiqu’élevée.

L’évaluation apporte une contribution remarquable à l’innovation parce qu’il s’agit de la première évaluation complète couvrant les opérations des secteurs public et privé, et parce qu’elle a mis au point des outils de validation théorique pour examiner la contribution du cadre de contrôle de la qualité à chaque étape du cycle du projet en s’appuyant sur les meilleures pratiques. L’évaluation de la qualité à l’entrée a permis de procéder à une analyse quantitative des données pour avoir des estimations non biaisées de la qualité à l’entrée des projets, à la fois entre les secteurs et dans la durée. L’analyse qualitative des données a été utilisée pour examiner les justifications des experts sectoriels pour chaque dimension de l’outil de validation des meilleures pratiques pour la qualité à l’entrée, la qualité de la supervision et la validation documentaire des modalités liées aux sauvegardes environnementales et sociales. Certaines analyses de l’évaluation ne sont pas tout à fait comparables aux évaluations antérieures de la qualité à l’entrée et de la qualité de la supervision effectuées à la Banque et par les institutions de référence. Cette limite a toutefois été surmontée par une triangulation approfondie des méthodes et des sources.

L’évaluation reconnaît que le cadre de contrôle de la qualité de la Banque a été modifié à partir de 2013–2014 par les DP 03/2013 et 02/2015 et le Manuel des opérations en 2014. Certains outils clés étaient toutefois déjà en place depuis le début de la période d’évaluation et leurs modifications sont effectivement prises en compte dans l’évaluation101. L’évaluation explore les pratiques émergentes conçues dans ce nouveau cadre

87Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

pour les aspects de l’évaluation liés à la qualité à l’entrée, tandis que l’inclusion d’anciens projets dans l’échantillon permet d’évaluer le contrôle de la qualité aux étapes de supervision et d’achèvement du cycle du projet.

En plus du groupe de référence habituel composé de membres clés du personnel de la Banque ayant une connaissance du cadre de contrôle de la qualité102, l’équipe d’évaluation a collaboré avec la Division du contrôle de la qualité (SNOQ) pour assurer la complémentarité et l’utilisation des résultats préliminaires de cette évaluation dans l’étude diagnostique en cours des pratiques de la Banque visant à garantir la qualité à l’entrée des opérations du secteur public. L’évaluation a bénéficié du rôle de supervision d’un évaluateur externe et d’un évaluateur interne d’IDEV dans le cadre des mesures de contrôle de la qualité.

Limites de l’évaluation

Le principal défi de l’évaluation était lié à l’accès aux principaux documents des projets. L’insuffisance des mécanismes de transfert et des pratiques de gestion des connaissances à la Banque a constitué un défi. L’équipe d’évaluation a déployé des efforts considérables pour obtenir les documents de projet au moyen d’une stratégie de collecte de données à plusieurs volets, donc la consultation de multiples plateformes de documents en ligne et les demandes directes de documents à divers employés de la Banque. La fiabilité des données de projet obtenues du système SAP a été vérifiée à l’aide d’autres sources d’éléments probants. Le faible taux de réponse de certains groupes au sondage en ligne auprès des intervenants a limité son utilité, malgré les efforts déployés par l’équipe d’évaluation et la haute direction pour encourager la participation. De même, certaines données institutionnelles prévues sur les institutions de référence et les activités du secteur privé n’ont pas pu être consultées à temps afin d’être utilisées dans le cadre de l’évaluation. De plus, l’équipe a eu du mal à accéder aux propositions les plus récentes issues de la TMT et de DAPEC.

Certaines sections de l’analyse sont limitées par le fait que les périodes couvertes sont assez vastes et que les échantillons ne peuvent pas être totalement concomitants. Par exemple, dans le but de relever les différentes pratiques de supervision et d’achèvement des projets, une partie de l’échantillon est plus ancienne et peut ne pas refléter le cadre existant de la Banque. Toutefois, cela a permis d’élargir l’échantillon des projets achevés afin d’évaluer le contrôle de la qualité de la Banque pendant l’achèvement et la sortie, qui reste encore très limitée (14 RAP et 12 rapports de supervision élargis). Cette analyse sera complétée par une autre évaluation en cours. Le cadre des sauvegardes environnementales et sociales de la Banque a fait l’objet d’une mise à niveau substantielle avec le Système de sauvegardes intégré qui est entré en vigueur en juillet 2014. L’évaluation a considéré cette date comme un point de démarcation pour analyser la conformité d’un sous-échantillon de 89 projets à la conception. Les projets approuvés avant le SSI ont été évalués au regard des procédures précédentes. En ce qui concerne la conformité avec le SSI pendant l’exécution, le SSI a été pris en compte pour tous les projets, étant donné que ceux-ci sont censés être progressivement ramenés à des conditions similaires grâce aux missions de supervision de la Banque et à la mise à jour des études clés pendant l’exécution, si nécessaire.

Seule la composante d’évaluation de la qualité à l’entrée a utilisé un échantillon aléatoire stratifié qui permet d’effectuer des analyses d’une année à l’autre et au cours de la même année, ainsi que d’étendre les estimations au reste du portefeuille de la Banque. Par conséquent, le reste de l’analyse ne fait que montrer certaines tendances relevées dans un échantillon de projets visant à maximiser le nombre


d’opérations accompagnées d’un rapport d’achèvement. L’échantillon de projets qui pourraient être examinés à l’achèvement est particulièrement petit, même si l’évaluation a été étendue aux projets qui sont devenus effectifs (certains d’entre eux ont été approuvés en 2008). L’évaluation traite ces constatations avec prudence et recommande à la direction d’élargir l’analyse.

Le recours à un expert par secteur pour mettre en œuvre les examens au niveau des projets dans les différentes composantes de l’évaluation entraîne des limites quant à la fiabilité entre les évaluateurs en raison des différences possibles dans la compréhension de chaque expert. Ces limites ont été atténuées par la mise à l’essai de chacun des outils d’examen dans tous les secteurs et par un retour d’information visant à assurer une compréhension commune de la méthodologie à suivre. De plus, les experts sont tenus de justifier leurs notes à l’aide de données probantes tirées des documents de projet afin de faciliter le contrôle de la qualité des revues de projet. Afin d’atténuer ces limites et de relever les défis, l’évaluation a triangulé différentes sources de données probantes pour en venir à des constatations et à des conclusions.

L’analyse des processus de contrôle de la qualité se concentre principalement au niveau des projets. La prise en compte des échelons nationaux et sectoriels se fait uniquement dans le cadre de la constitution de la réserve de projets de la Banque et des liens avec les processus de préparation des projets. Les données issues des examens à l’échelle de la Banque et des portefeuilles et des outils de suivi sont comparées aux informations relatives à la supervision au niveau des projets.

89Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Annexe D — Théorie du changement du cadre de contrôle de la qualité de la Banque tout au long du cycle de projet

Revues du AQ au départ

AQ lors de l’exécution et de l’achèvement

Produits de la préparation

des projets

Appui à l’exécution pour des emprunteurs,

produits de la supervision et de

l’achèvement des projets

Une communication de l’information

franche et sincère sur les projets axée sur les résultats et les

leçons tirées

Des progrès satisfaisants dans

l’exécution des projets

Un suivi et une gestion des risques proactifs

Contrôle de la mise en œuvre du PGES/

PAR convenu

Achèvement des activités,

y compris le bouclage financier

Orientations et normes

de la Banque en matière

d’AQ

Ressources humaines

et financières de la Banque

Gouvernance et incitations

Une meilleure qualité

de conception des projets

Des meilleurs résultats

en matière de développement

Pour les ONS, réduction de

la dépréciation et des PNP

Réduction des effets imprévus, y compris

sur le plan ES

Apprentissage organisationnel

(retour d’information et boucles de rétroaction)

Un meilleur état de préparation à l’exécution des projets

Identification appropriée des risques et mesures

d’atténuation, y compris ES

Une meilleure qualité du portefeuille

Efficacité du développement

Hypothèses• Capacité appropriée de préparation et exécution dans le pays ou chez

l’emprunteur (Système de gestion des investissements publics ou capacité de la clientèle à préparer puis à exécuter des projets de qualité).

• Détermination de l’emprunteur à assurer une conception et une exécution de projet conformément aux normes de qualité.

• Un contexte se prêtant à l’exécution des projets ( absence des crises économiques, politiques ou sociales majeures).

• Des orientations et des normes clairement définies pour mettre en application le cadre de contrôle de la qualité.

• Un cadre cohérent et intégré de contrôle de la qualité permet d’utiliser les

information produites à chaque phase du cycle de projet pour éclairer la conception et la mise en œuvre de nouvelles opérations (boucles de rétroaction de l’apprentissage à travers le cycle du projet).

• Des ressources suffisantes (en temps, argent, personnel, formation et appui) pour la mise en œuvre du cadre de contrôle de qualité.

• Une appropriation suffisante de la qualité des produits de contrôle de la qualité par la Direction de la Banque.

• Existence d’un mécanisme adéquat de vérification et de mise en application.• Des incitations suffisantes pour le personnel pour lui permettre de mettre en

œuvre de façon systématique les orientations du contrôle de la qualité.

Contexte national et mécanismes d’exécution des projets

Capacité de l’emprunteur à préparer et à exécuter des projets


Légende de la théorie du changement

Revues de la qualité à l’entrée

❙ Secteur public : évaluation par les pairs, revue de l’état de préparation, revue de l’équipe de pays, composantes environnementales et sociales (ES) catégorisation, revue par le Comité des opérations (OPSCOM)

❙ Secteur privé : note de l’évaluation de l’additionnalité et des résultats en matière de développement (ADOA), note de crédit sommaire (SCN) / revue du risque de crédit, évaluation par les pairs, catégorisation environnementale et sociale (ES), revue du Comité des opérations (OPSCOM) pour des projets de grande ampleur, complexes et à haut risque, revue de l’équipe de direction départementale (DMT)

Produits de la préparation des projets

❙ Secteur public : note d’orientation du projet, note conceptuelle de projet (PCN), rapport d’évaluation de projet (REP)

❙ Secteur privé : note d’évaluation préliminaire, PCN, REP

Contrôle de la qualité lors de l’exécution et de l’achèvement

❙ Secteur public : lancement du projet, supervision spéciale, supervision régulière, revue de l’état d’avancement de l’exécution des projets, revue à mi-parcours, revue du portefeuille, mission d’achèvement

❙ Secteur privé : revue des rapports client, missions de supervision

Produits de supervision et d’achèvement de projets

❙ Secteur public : rapport sur l’état d’avancement de l’exécution (REE), compte rendu de retour de mission (BTOR), aide-mémoire, revue annuelle de la performance du portefeuille (RAPP), revue à mi-parcours (MTR), rapport d’achèvement de projet (RAP)

❙ Secteur privé : rapport de supervision annuel, revue annuelle de la performance du portefeuille (RAPP), compte rendu de retour de mission (BTOR), rapport sur la situation de projets (PSR), rapport de supervision élargi (RSE)

PGES : plan de gestion environnementale et sociale

PAR : Plan d’action pour la réinstallation

91Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Bibliographie

1994 AfDB “The Quest for Quality – Report of the Task Force on Quality at Entry for the African Development Bank”

2000 AfDB The environmental procedures for private sector operations

2001 AfDB Environmental and Social Assessment Plan

2003 AfDB Integrated Environmental and Social Impact Assessment guidance notes

2003 AfDB The Policy on Involuntary Resettlement

2010 AfDB Independent Assessment of the Quality at Entry of ADF 2005-2008 Operations and Strategies – Final Summary Report, ADF/BD/WP/2010/21.

2010 AfDB Project supervision at the African Development Bank 2001-2008: An Independent Evaluation – Final Report. Operations Evaluation Department (OPEV).

2013 ITAD Synthesis Report – Second Independent Assessment of Quality at Entry of Public Sector Operations.

2014 AfDB Improving Portfolio Performance at the African Development Bank, ADF/BD/IF/2014/167.

2015 AfDB Environmental and Social Assessment Plan

2015 AfDB Involuntary Resettlement Policy: Review of Implementation. Safeguards and Sustainability Series, Volume 1, Issue 3.

2015 AfDB Integrated Environmental and Social Impact Assessment Guidelines

2015 AfDB Presidential Directive No. 02/2015 Concerning the Design, Implementation and Cancellation of Bank Group Sovereign Operations

2016 AfDB “Comprehensive Evaluation of the Development Results of the African Development Bank Group (2004-2013) – Synthesis Report”

2016 AfDB An Update of the Decentralization Action Plan in Line with the New Development and Business Delivery Model, ADF/BD/WP/2015/54

2016 AfDB Disclosure and Access to Information Policy. Three-Year Implementation Retrospective 2013-2016 Annual Report. Developing Africa Openly and Transparently, Office of the Secretary General (PSEG).

2016 AfDB SNSC ES Annual Due diligence report

2016 Ernst & Young Review of the African Development Bank Group’s Non-Sovereign Operations (NSO)

2016 World Bank Group “Project Preparation Facility: Increase in Commitment Authority and Enhanced Scope”

2017 AfDB Enhancing Results and Quality Reporting of Non-Sovereign Operation, PINS and SNOQ

2017 AfDB Report of the Fourteenth General Replenishment of the Resources of the African Development Fund (ADF-14), ADF/BD/WP/2017/14/Approval.

2017 IDB Development Effectiveness Matrix (DEM) and World Bank Group Interim Guidance Note – Systematic Operations Risk Rating Tool (SORT).

2017 AfDB Présentation retraite SNSC, Supervision de la Conformité Environnementale et Sociale des Projets and staff requirement memo from SNSC (March 2017).

2018 AfDB Fourth TMT Update on the Implementation of the Bank’s Development and Business Delivery Model, ADF/BD/WP/2018/55.

2018 AfDB Retrospective review report on Bank Group budgets and work programme performance. ADF/BD/WP/2018/28

2018 AfDB Enhancing Results and Quality Reporting of Non-Sovereign Operations.


Annotations1. En revanche, un document récent de la BID (Banque interaméricaine de développement) a utilisé un échantillon beaucoup plus large de 853 projets

pour entreprendre une analyse économétrique de la relation entre la qualité à l’entrée et la performance des projets. Voir Leonardo R. Corral, Nancy McCarthy (op.cit.). Une autre étude récente analyse un ensemble de données sur l’ensemble des 2 845 projets de l’IPF (Investment project financing) approuvés entre 1995 et 2009, qui représentaient 89 % de tous les projets clôturés entre 2005 et 2015, afin d’examiner les facteurs qui déterminent la performance des projets d’investissement à la Banque mondiale. Voir Mustafa Zakir, Hussain, Thomas Kenyon et Jed Friedman, DEC Policy Research Report, septembre 2018. Washington, DC, Banque mondiale.

2. Estelle Rosine Raimondo, « What difference does good monitoring & evaluation make to World Bank project performance », Banque mondiale, Policy Research Working Paper, juin 2016.

3. Il s’agit d’une indication du niveau de priorité de l’échéancier. Le plan de mise en œuvre comprendra une séquence plus détaillée des produits livrables, assortie de délais.

4. Les outils et processus d’assurance qualité sont différents pour les opérations souveraines et non souveraines. Bien que cette réponse de la direction ne fasse pas toujours la distinction entre elles, le plan de mise en œuvre établira une distinction claire entre les priorités et les actions relatives aux opérations souveraines et non souveraines.

5. Les dons ont été exclus, sauf dans le cas de la programmation du Zimfund du Zimbabwe, afin d’obtenir des informations sur le fonctionnement du cadre d’AQ dans un contexte de fragilité.

6. La EGRD a consisté en une synthèse des évaluations réalisées dans 14 pays, qui représentaient près de 60 % du portefeuille total de prêts de la Banque entre 2004 et 2014.

7. Groupe de la Banque africaine de développement (2017). « Rapport de la quatorzième reconstitution générale des ressources du Fonds africain de développement (FAD-14) », ADF/BD/WP/2017/14/Approval.

8. Ernst & Young (2016). « Revue des opérations non souveraines (ONS) du Groupe de la Banque africaine de développement ».

9. Groupe de la Banque africaine de développement (2014). « Améliorer la performance du portefeuille à la Banque africaine de développement », ADF/BD/IF/2014/167.

10. Groupe de la Banque africaine de développement (2017). « Améliorer les résultats et l’établissement de rapports sur la qualité des opérations non souveraines », PINS et SNOQ.

11. IDEV a effectué deux évaluations indépendantes de la QaD des projets du secteur public (2009 et 2013) qui ont examiné les opérations de la Banque au regard des dimensions utilisées par le Groupe de contrôle de la qualité de la Banque mondiale et d’une norme de pratique optimale (NPO). Ces évaluations ont relevé quelques améliorations par rapport à 2008, mais n’ont constaté aucune différence significative par rapport aux projets approuvés en 2005 (Groupe de la Banque africaine de développement (2010) « Évaluation indépendante de la qualité à l’entrée des opérations et stratégies du FAD 2005-2008 — rapport sommaire final », ADF/BD/WP/2010/21 et Itad (2013), « Rapport de synthèse — deuxième évaluation indépendante de la qualité à l’entrée des opérations du secteur public »). L’évaluation, effectuée par IDEV en 2010, de la supervision par la Banque des opérations du secteur public a déterminé que l’absence ou l’insuffisance d’orientation et de contrôle en matière de supervision constitue un obstacle à l’efficacité de la fonction de supervision. Parmi les causes soulignées, on peut citer la défaillance des systèmes de gestion des données et de l’information à l’échelle de la Banque, la médiocrité des mécanismes d’application et l’existence de contraintes en matière de ressources dans les départements responsables. BAD (2010), « Supervision des projets à la Banque africaine de développement en 2001-2008 : une évaluation indépendante — rapport final », Département de l’évaluation des opérations (OPEV).

12. Groupe de la Banque africaine de développement (2016). « Mise à jour du Plan d’action pour la décentralisation conformément au nouveau Modèle de développement et de prestation de services », ADF/BD/WP/2015/54.

13. Groupe de la Banque africaine de développement (2015). « Directive présidentielle n° 02/2015 concernant la conception, la mise en œuvre et l’annulation des opérations souveraines du Groupe de la Banque ».

14. Le DAPEC est un sous-comité de l’équipe de gestion de la transition chargé de superviser cette réforme de haut niveau.

15. À ce jour, le DAPEC a procédé à la revue de 14 procédures opérationnelles et a publié 17 rapports sur la restructuration des procédures commerciales, notamment en formulant des propositions sur l’« état futur » de la préparation et de l’allocation budgétaires, la gestion budgétaire, la gestion de la performance et les sauvegardes fiduciaires, selon la BAD (2018) : « Quatrième mise à jour de l’équipe de gestion de la transition sur la mise en œuvre du Modèle de développement et de prestation de services de la Banque », ADF/BD/WP/2018/55.

16. Le niveau inférieur du modèle de maturité est « peu systématique » (la gestion des risques n’est pas guidée par un processus normalisé), tandis que les niveaux plus avancés sont « gérés » (les informations sur les risques sont intégrées dans une base de connaissances formelle, vérifiées pour s’assurer de leur qualité et conformité, et utilisées pour éclairer la prise de décision institutionnelle) et optimisées (la base de connaissances est exploitée et les processus normalisés sont « optimisés » (les informations sur la gestion des risques sont intégrés et utilisés pour évaluer et améliorer l’efficacité des procédures de gestion des risques d’une organisation).

17. En ce qui concerne les opérations du secteur public, l’évaluabilité est définie comme i) la mesure dans laquelle la conception d’une intervention et le ciblage des bénéficiaires reposent sur des données probantes et ii) la clarté et le réalisme de la logique d’intervention compte tenu de la nature du défi de développement et de la portée de l’intervention (source : Matrice d’efficacité du développement de la BID). Pour ce qui est des opérations du secteur privé, l’évaluabilité se définit, en plus des deux dimensions précédentes, comme iii) la description fondée sur des éléments probants du défi de développement et/ou de la défaillance du marché à laquelle il faut remédier, et iv) la qualité du cadre de résultats et des modalités de suivi et d’évaluation (source : Invest DELTA de la BID).

93Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

18. La préparation à la mise en œuvre dans l’évaluation QaE a été conçue comme la mesure dans laquelle différentes exigences de mise en œuvre sont finalisées avant l’approbation du projet, ce qui pourrait autrement contribuer à des retards de démarrage. L’outil d’IDEV comprenait des aspects tels que la création et la dotation en personnel de l’unité d’exécution du projet, l’identification du financement de contrepartie pour la première année d’activité dans le budget du gouvernement, la disponibilité des plans de passation des marchés pour la première année d’exécution, les dispositions visant à assurer la identification et gestion des risques environnementaux et sociaux du projet, et disponibilité d’études de faisabilité ou d’ingénierie, le cas échéant.

19. L’outil de validation des meilleures pratiques d’IDEV est une norme fondée sur des preuves pour la qualité à l’entrée qui a été élaborée à partir de l’examen des outils de comparaison existants et de consultations avec le personnel de la Banque et des comparateurs. Les quatre dimensions identifiées sont classées selon une échelle en quatre points et sont inspirées par: la matrice d’efficacité du développement (DEM) de la BID pour l’analyse des problèmes, l’évaluabilité et les analyses économique et financière; la liste de contrôle de préparation à la mise en œuvre de la Banque mondiale pour la section préparation à la mise en œuvre; et la liste des risques stratégiques et opérationnels de la Banque mondiale pour la section de la gestion proactive des risques.

20. Invest de la BID a récemment introduit DELTA (une version adaptée de la Matrice d’efficacité du développement pour les ONS) ; la SFI se sert de l’outil AIMM (impact prévu, mesure et suivi) pour faire cadrer les résultats des projets avec les impacts ciblés sur le marché ; la Banque européenne pour la reconstruction et le développement a récemment introduit le Système de mesure des objectifs en matière de transition, pour mettre en harmonie le projet et jusqu’à deux impacts sur la transition vers le marché.

21. La dimension « évaluabilité » des ONS relative à la NPO d’IDEV évalue la mesure dans laquelle les opérations : i) cernent clairement le problème de développement à traiter ; ii) recensent les principales contraintes sous-jacentes au problème de développement et la manière dont elles sont traitées par l’opération proposée ; iii) font montre d’une logique verticale claire ; et iv) présentent des indicateurs mesurables des résultats de développement.

22. La deuxième dimension de la NPO d’IDEV pour les ONS a examiné dans quelle mesure la justification des résultats de développement présentée dans les rapports d’évaluation des projets et les indicateurs mesurés dans la matrice des résultats sont cohérents avec l’ADOA, en ciblant les impacts sur le développement les plus pertinents auxquels un projet va contribuer.

23. Il s’agit notamment i) d’un délai de signature de plus d’un an ; ii) d’un délai de décaissement initial de plus de 18 mois ; et iii) du fait d’être inscrit sur une liste de surveillance ou d’être considéré comme présentant un risque de non-remboursement.

24. Les révisions en 2014 et 2015 des Directives concernant le suivi du portefeuille et des modèles de compte rendu de mission et de rapport sur l’état d’avancement des projets, et la modification des directives relatives à la revue du risque de crédit devraient améliorer la surveillance axée sur le risque. En outre, la révision du modèle de présentation des rapports sur les opérations non financières (2013) et les directives opérationnelles relatives aux lignes de crédit (2014) sont étendues aux opérations financières, afin de renforcer l’établissement de rapports sur les résultats en matière de développement des ONS de la Banque.

25. La revue des Procédures d’évaluation environnementale et sociale (PEES) effectuée en 2015 propose que les départements sectoriels de la Banque préparent un rapport d’achèvement environnemental et social. Dans la pratique, à l’achèvement, les informations environnementales et sociales sont intégrées dans le RAP des opérations du secteur public et dans le RSE des opérations du secteur privé, et il n’existe pas de rapport d’achèvement environnemental et social autonome. D’autres orientations sur le contenu environnemental et social prévu dans les rapports d’achèvement pourraient être élaborées dans la prochaine version des PEES.

26. Selon les données provenant des institutions de référence, les coefficients d’allocation de la Banque mondiale se situent autour de 60-40 % (préparation et supervision des mesures environnementales et sociales) ; la SFI signale par ailleurs que 55 % du temps de ses spécialistes des questions environnementales et sociales est consacré à la supervision ; et dans le cas de la BID, ce ratio varie entre 20 et 36 % des ressources et de temps de supervision des questions environnementales et sociales, en fonction des risques environnementaux et sociaux de l’intervention.

27. Sur l’ensemble de l’échantillon d’opérations souveraines et non souveraines examiné dans le cadre de l’évaluation de la qualité à l’entrée, il a été établi que presque tous les projets avaient au moins un document de revue manquant lors de leur préparation et de leur évaluation.

28. L’alimentation du système intégré de suivi des sauvegardes a démarré en 2016, mais en raison du manque de personnel, elle n’a pas été systématique. La base de données des documents clés des SES sur l’ensemble du cycle du projet n’est pas complète en 2018. L’évaluation a relevé que 83 % des 89 projets de catégories 1, 2 et 4 qui ont fait l’objet d’une revue de conformité aux SES (à compter de 2012) n’avaient pas de version approuvée de leur sommaire d’évaluation environnementale et sociale, un numéro de contrôle indiquant qu’il s’agissait d’une version finale approuvée. Les entretiens avec les spécialistes des SES de la Banque ont expliqué que le contrôle des documents a été difficile, en raison du roulement fréquent du personnel sans passation de service adéquate.

29. Suite à la réception d’une demande officielle et à une première vérification de l’éligibilité effectuée par le chargé de programme pays, le chef de projet désigné doit procéder à une « revue technique » des pièces soumises par l’emprunteur. Cette revue vise à : i) établir si la justification du projet est solide et si l’opération est susceptible d’être durable ; ii) cerner les risques potentiels de mise en œuvre à prendre en compte pendant la préparation ; et iii) déterminer l’ampleur de la préparation du projet.

30. Groupe de la Banque africaine de développement (2015). Manuel des opérations du Groupe de la Banque pour les opérations souveraines ».

31. La majorité des chefs de projet ont noté que ces revues ne contribuaient pas à la qualité des projets comme prévu, en raison de la piètre qualité et du peu de pertinence des commentaires fournis. En outre, environ un tiers seulement des chefs de projet ayant répondu à l’enquête auprès du personnel ont convenu qu’il existe des normes claires pour la sélection des revues par les pairs et la conduite de ces revues.

32. Une analyse de la revue des processus de 25 opérations souveraines a montré que seulement un quart des observations formulées dans le cadre de la revue par les pairs et près du tiers des observations présentées lors des réunions de l’équipe pays ne sont pas pertinents pour les facteurs clés sur lesquels repose la qualité à l’entrée. Ces données sont corroborées par l’enquête auprès du personnel dans laquelle seulement un quart environ des chefs de projet ont estimé que la revue par les pairs et les réunions de l’équipe pays constituaient les mécanismes de revue ajoutant le plus de valeur à la préparation des projets. En revanche, 34 % des chefs de projet ont indiqué qu’un autre mécanisme propre à chaque


département, mis en œuvre séparément du processus établi de préparation et d’approbation, était celui qui ajoutait le plus de valeur à la qualité des projets

33. Rapport annuel 2016 sur les obligations de vigilance en matière environnementale et sociale.

34. Le délai de publication est de 120 jours pour les projets publics de catégorie 1, 60 jours pour les projets du secteur privé de catégorie 1,et 30 jours pour les projets des secteurs public et privé de catégorie 2 (PEES, 2015). Ces études sont publiées à l’adresse https://www.afdb.org/en/documents/environmental-social-assessments/ et font l’objet d’une large diffusion dans le pays et la région où se déroule le projet. Les versions approuvées sont celles qui portent un numéro de contrôle de la Banque.

35. La plupart des 97 conditions environnementales et sociales figurant dans 58 projets ont trait à la réinstallation/l’indemnisation de la population locale. D’autres conditions de prêt, utilisées dans un nombre très limité de cas, sont liées au recrutement d’un environnementaliste à la CEP.

36. Rapport annuel 2016 de SNSC sur les obligations de vigilance en matière environnementale et sociale.

37. D’autres types de conditions de prêt souvent incluses dans les accords de prêt pour renforcer les exigences environnementales et sociales doivent être remplies durant la mise en œuvre du projet, suivant un échéancier (autres conditions) ou sans échéancier (engagements). Dans la plupart des cas, ces conditions ont trait à la nécessité de rendre compte de l’état d’avancement de la mise en œuvre des mesures d’atténuation des effets environnementaux et sociaux, en ce qui concerne notamment la preuve de versement effectif d’indemnisations aux populations affectées par les projets de la Banque.

38. Conformément à la pratique établie à l’échelle internationale, la Banque classe dans une catégorie distincte (catégorie 4) les opérations de prêt aux intermédiaires financiers, dont les banques ainsi que les compagnies d’assurance, de réassurance et de crédit-bail, les institutions de microfinance, les fonds de capital-investissement et les fonds de placement.

39. L’une de ces OAR est une opération agricole au Maroc et l’autre une opération relative à l’élevage au Rwanda, qui ont été classées dans la catégorie 2 ; dans ces cas, une évaluation environnementale et sociale stratégique a été validée pour approbation. Dans le cas de l’OAR du Maroc, son risque environnemental et social a été modifié durant la mise en œuvre. Ni les rapports de supervision ni le RAP n’ont justifié ce changement. Le RAP s’est contenté de mentionner que le programme était de catégorie 3 parce qu’il s’agissait d’un programme d’appui budgétaire comportant des mesures de réformes pour les départements chargés de l’agriculture, de l’eau, de l’environnement et de l’énergie.

40. Chaque opération souveraine fait l’objet d’une revue par les pairs, d’une REP et d’une revue par l’équipe pays aux stades du concept et de l’évaluation. Le directeur sectoriel est aussi censé approuver ces étapes clés après la revue par les pairs et la réunion de l’équipe pays, et le nombre d’étapes de revue sequentielle et d’approbation s’en trouve accru à nouveau. En revanche, la BID, le FIDA et la Banque mondiale mettent en œuvre entre quatre et six étapes de revue et d’approbation pour une opération souveraine typique.

41. C’est le cas, par exemple, de deux projets de l’échantillon, dont l’un à Nairobi et l’autre dans la région métropolitaine de Dakar. D’après la revue documentaire et les entretiens, les deux CEP de ces projets du secteur public ont suivi toutes les étapes requises du système de sauvegardes envornnementales et sociales de la Banque lors de l’évaluation et de la mise en œuvre. L’une des CEP a néanmoins reçu une plainte relative à l’indemnisation, soumise dans le cadre du Mécanisme de revue indépendant de la Banque.

42. L’emprunteur devrait préparer un Plan d’action pour la réinstallation qui traite des questions relatives aux moyens de subsistance et au niveau de vie des personnes déplacées, ainsi qu’à l’indemnisation pour perte d’actifs, en utilisant une approche participative à toutes les étapes de la conception et de la mise en œuvre du projet (Politique de réinstallation involontaire de la Banque (2003) et modalités connexes intégrées dans les Procédures d’évaluation environnementale et sociale (PEES) en 2001 et 2015).

43. BAD (2015). Politique de réinstallation involontaire : revue de la mise en œuvre. Série sur les sauvegardes et la durabilité, volume 1, numéro 3. Ce rapport a évalué les dimensions relatives à l’identification et à l’indemnisation des PAP, dans le cadre de l’étude environnementale et sociale et du processus de consultation sur le Plan d’action pour la réinstallation.

44. Selon les chiffres de la direction, l’effectif a diminué de 14 % de 2013 à 2017 et augmenté de 7 % de 2017 à 2018.

45. Données issues du système SAP, de la FPP et du Groupe de la Banque africaine de développement (2018) « Note au SMCC sur le Fonds d’assistance technique en faveur des pays à revenu intermédiaire ».

46. Groupe de la Banque mondiale (2016). « Project Preparation Facility: Increase in Commitment Authority and Enhanced Scope ».

47. Ceci a été corroboré par les réponses fournies par les chefs de projet au moyen d’un sondage et d’entretiens en ligne. Environ 90 % des chefs de projet s’accordent à dire que la disponibilité des FPP n’est pas suffisante et que le processus pour accéder à ces facilités est trop lourd.

48. Au cours de la période d’évaluation, SNSC a seulement réussi à organiser diverses sessions techniques et des formations pour susciter une prise de conscience du SSI en 2013 et en 2014. L’évaluation n’a trouvé aucun élément factuel faisant état d’autres efforts faits pour diffuser les procédures actualisées de SES et modifier la perception de certains membres du personnel qui sous-évaluent la contribution des sauvegardes environnementales et sociales à la performance globale et à la durabilité des projets

49. Le manuel institutionnel 2016 de la Banque identifie un système d’évaluation par les pairs dans lequel un chargé d’investissements de rang inférieur travaille en tandem avec un collègue plus gradé, qui lui donne des conseils dans la préparation et la structuration de projets. Plusieurs chargés des investissements ont d’ailleurs confirmé l’utilité de cette pratique.

50. Groupe de la Banque africaine de développement (2018). « Review of Operations Delivery Capabilities ».

51. Le complexe sectoriel souffrant de la capacité la plus limitée à initier de nouveaux projets en 2018 est PEVP (Énergie, changement climatique et croissance verte). La répartition sectorielle et la charge de travail dans l’exécution des programmes de prêts dans toutes les régions n’ont pas changé sur la même période. Les régions Est et Ouest sont excessivement sollicitées avec le plus grand nombre d’opérations par chef de projet. Cela a été corroboré par les entretiens conduits pour l’évaluation. Les responsables de PIVP (Secteur privé, infrastructure et industrialisation) ont le ratio le plus élevé de portefeuille actif par chef de projet.

95Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

52. Ernst & Young (2016). « Review of the African Development Bank Group’s Non-Sovereign Operations (NSO) ».

53. Les chiffres des institutions de référence ont été difficiles à obtenir. Seule IDB Invest a rapporté 1,5 projet par investisseur. L’évaluation n’a pas pu confirmer la comparabilité des chiffres.

54. Par exemple, le département SPD à la BID emploie une équipe constituée de 35 employés permanents et de 20 consultants dont le rôle consiste à examiner 160 opérations chaque année.

55. La Banque n’enregistre pas le nombre de projets soutenus par chacun des experts des SES, même si certaines personnes interrogées ont déclaré avoir traité jusqu’à 23 projets en 2017, notamment les vérifications d’usage sur 15 projets de catégorie 1 avant leur approbation et 8 supervisions de terrain des projets en cours. La Banque mondiale et la SFI sont les seules à avoir estimé le ratio moyen : 10 pour les opérations du secteur public de la Banque mondiale, 12 pour les opérations du secteur privé à la SFI (5 évaluations et 7 supervisions par an).

56. Aucune donnée sur le profil environnemental et social du portefeuille en cours n’était disponible. Ces chiffres représentent une estimation qui a été faite pour la retraite de SNSC en 2017. L’analyse n’a pas pu utiliser un total de 339 pour lequel la catégorisation environnementale n’était pas prise en compte dans le SAP. Il est fort probable que beaucoup de projets soient des projets de catégorie 4, car l’analyse n’a rapporté qu’un seul projet de la catégorie 4 en cours sur les 116 projets analysés.

57. BAD (2018). Rapport de revue rétrospective de 2017 sur la performance des budgets et du programme de travail du Groupe de la Banque. ADF/BD/WP/2018/28.

58. IEvaluations pays IDEV (2012-2015).

59. À la BID, le Bureau de la planification stratégique et de l’efficacité du développement propose une évaluation indépendante de l’évaluabilité des opérations lors du processus d’approbation. Leur apport (selon les notes de la matrice d’efficacité du développement – DEM) non seulement est utilisé dans les réunions des décision, mais accompagne également l’exploitation lorsqu’il est envoyé au Conseil d’administration pour approbation. De même, le FIDA a désigné le groupe de contrôle qualité (GAQ), chargé d’organiser une évaluation indépendante de la qualité à l’entrée des opérations proposées et de donner des conseils sur leur validation. À la Banque mondiale, cette fonction est assumée par l’équipe chargée de la politique opérationnelle et des services aux pays, qui fournit également des conseils indépendants aux vice-présidents régionaux concernant la qualité des opérations avant leur approbation et qui conseille les équipes de projet en vue d’améliorer la qualité des prestations.

60. La fonction clé de la Division du contrôle qualité est d’assurer une gestion proactive des résultats en mettant en place un système de mesures correctrices et en générant le savoir opérationnel qui permettra de rationaliser les opérations futures.

61. À la Banque, même lorsque des spécialistes des sauvegardes environnementales et sociales participent à une mission de supervision sur le terrain, leurs contributions sont envoyées par courriel aux chefs de projet et chargés de portefeuille, qui ont la responsabilité d’intégrer ces contributions dans le rapport général de supervision. Comme le montre la revue documentaire de 81 projets de catégorie 1 et 2, cette information n’est pas systématiquement communiquée dans les rapports de supervision (REAE/PSR).

62. La moitié des commentaires reçus au sujet des notes conceptuelles de projet sont intégrés (53 % des revues de l’état de préparation et des revues par les pairs, 39 % des commentaires recueillis au cours de la revue de l’équipe pays), tout comme 40 % des commentaires reçus au sujet du rapport d’évaluation de projet (16 % au cours de la revue de l’état de préparation, 50 % lors de l’évaluation par les pairs et de 53 % au cours de la revue par l’équipe pays).

63. Par exemple, selon les directrices de la Banque, et dans le cadre de son rôle de surveillance du portefeuille, le chargé de programme pays (CPO) est tenu de donner suite aux recommandations formulées dans les rapports de supervision de projet, de vérifier régulièrement puis de valider l’intégrité des notes de supervision de projet, de tirer la sonnette d’alarme sur les projets à risque et de recommander des mesures à prendre pour redresser la situation, selon qu’il conviendra.

64. Selon les entretiens menés lors des visites dans les pays, les chargés de portefeuille ou responsables de programme pays devraient porter les problèmes d’exécution auxquels sont confrontées les autorités nationales ou les emprunteurs et qui échappent au contrôle technique des chefs de projet. Les revues de la performance des portefeuilles pays pourraient jouer ce rôle, mais elles ne sont pas suffisamment axées sur des projets spécifiques pour en faire un outil efficace d’engagement des hauts responsables au niveau des projets individuels.

65. Groupe de la Banque africaine de développement (2016). Politique en matière de diffusion et d’accès à l’information. Three-Year Implementation Retrospective 2013-2016 Annual Report. Developing Africa Openly and Transparently”, Bureau du Secrétaire général et Secrétariat général (PSEG).

66. L’évaluation a révélé que 49 % des 85 projets d’investissement approuvés entre 2013 et 2017 (ce qui représente un échantillon statistiquement représentatif du portefeuille) a été validée au dernier trimestre de chaque année. L’évaluation a utilisé une note composite de la qualité à l’entrée portant sur « la capacité d’évaluation et l’état de préparation à l’exécution ». Il en est ressorti que les projets approuvés au quatrième trimestre ont reçu une note de 2,55, contre une note de 2,87 au deuxième trimestre, 2,79 et 2,78 au premier trimestre et au troisième trimestre.

67. Ernst & Young (2016). « Review of the African Development Bank Group’s Non-Sovereign Operations (NSO) ».

68. Les revues annuelles sur l’efficacité du développement (RAED) rapportent depuis 2014 le pourcentage des opérations dans lesquelles des sauvegardes environnementales satisfaisantes et des mesures d’atténuation ont été prises, en utilisant la notation environnementale et sociale satisfaisante contenue dans les revues de l’état de préparation et des rapports d’évaluation de projet. Sur la base d’un sous-échantillon de 66 projets approuvés entre 2014 et 2017, l’évaluation a pu confirmer la tendance à la hausse du pourcentage des opérations ayant reçu une notation satisfaisante ou très satisfaisante en matière environnementale et sociale lors de la revue de l’état de préparation du REP.

69. La division chargée des SES prépare des notes d’information sur la catégorisation environnementale des projets, particulièrement le nombre d’instruments environnementaux et sociaux différents examinés et validés avant l’approbation du Conseil (EIES, PAES, PGES, PAR…). Les responsables de la division ne font pas le point sur la ventilation des projets par catégorie environnementale et sociale finalement approuvée par le Conseil, qui a été reconstituée pour cette évaluation à l’aide des données disponibles issues de différentes sources de la Banque. L’évaluation n’a pas permis d’accéder aux principaux indicateurs de performance de tous les experts de la Division des sauvegardes environnementales et sociales ou de ceux de SNSC, mais un exemple partagé a révélé un déséquilibre des cibles en matière de vérification diligente environnementale et sociale


avant approbation (100 % des projets soumis pour validation au Conseil avec catégorisation environnementale et sociale attribuée) pendant la mise en œuvre (15 supervisions annuelles).

70. L’évaluation a conduit une analyse de variance (ANOVA, une méthode statistique employée pour tester les différences entre deux ou plus de deux moyennes) de 85 projets d’investissement. Une statistique du hki carré (X2) a aussi été utilisée pour déterminer si les répartitions des variables catégoriques diffèrent les unes des autres.

71. Groupe de la Banque africaine de développement. Projet de rapport rétrospectif de qualité. Une évaluation des outils de contrôle de la qualité à la Banque. Division du contrôle qualité (SNOQ2)

72. La DEM requiert que les OAR comportent une analyse économique générale qui : i) expose la logique économique de l’opération ; ii) identifie et quantifie les avantages économiques découlant de la mise en œuvre de l’opération ; iii) identifie et quantifie les coûts concernant les acteurs économiques, découlant de la mise en œuvre de l’opération ; et iv) des hypothèses claires basées sur un modèle économique.

73. IDEV est retardée pour ce qui est de la validation des PAR. Les versions évaluées par les pairs et les dernières versions des notes d’évaluation des RAP ne sont disponibles que jusqu’en 2015.

74. Groupe de la Banque africaine de développement (2018) « Enhancing Results and Quality Reporting of Non-Sovereign Operations ». La revue a analysé 60 opérations du secteur privé et relevé que peu d’entre elles ont un objectif de développement clairement défini, la majorité ne précisant pas les liens entre les activités, les réalisations et les résultats du projet. De plus, la majorité des projets n’identifient pas les indicateurs SMART (intelligents) ou les facteurs exogènes qui pourraient affecter l’atteinte des résultats en matière de développement. Toutefois, environ trois quarts des cadres logiques des projets comportaient au moins un indicateur tiré du cadre de l’ADOA, facilitant ainsi le suivi des résultats.

75. PIFD – Rapport sur l’impact des lignes de crédit de la BAD, mai 2018.

76. Matrice d’efficacité du développement (DEM) de la BID et Groupe de la Banque mondiale (2017) « Note stratégique intérimaire - Outil de notation systématique des risques liés aux opérations (SORT) ».

77. Les risques liés aux ratios d’exploitation étaient jugés comme incluant : i) le non-respect des formalités réglementaires concernant le taux d’adéquation des fonds propres ; ii) un niveau élevé de PNP par rapport au marché ; et iii) un faible taux de liquidité. Les risques liés à la gouvernance institutionnelle étaient réputés inclure : i) une gestion de risque de crédit et/ou des contrôles internes inappropriés ; et ii) une faible expérience en gestion. Il convient de souligner que la catégorie de risque n’a pas été jugée être un important indicateur de pertes potentielles.

78. Données provenant de la fonction risque de crédit de la Banque.

79. Les lignes directrices liées aux REAE contenues dans les PESE 2015 comprennent une notation des aspects environnementaux et sociaux sur une échelle d’évaluation à quatre points où : entièrement satisfaisant (4) est attribué lorsque toutes les mesures de sauvegarde sont respectées ; modérément satisfaisant (3) lorsqu’au moins 75 % de ces mesures sont respectées et un délai maximum de six moins est accordé pour les autres non respectées ; non satisfaisant (2) est attribué lorsque 50 à 75 % des mesures de sauvegarde sont respectées et un délai accordé est de six à 12 mois. Dans ce cas, les mesures correctives doivent être déterminées et faire l’objet d’un suivi. En conclusion, les projets ont obtenu la note pas du tout satisfaisant (1) lorsque moins de 50 % des mesures de sauvegarde n’étaient pas respectées et un délai de plus d’un an était attribué pour le respect des autres mesures. Dans ce cas, le problème devait être remonté à la hiérarchie et des sanctions envisagées.

80. L’évaluation a obtenu les rapports de supervision de 51 projets seulement sur les 89 projets de l’échantillon examiné du point de vue des SES (43 projets publics et 8 projets privés), en raison de problèmes liés au système de documentation de la Banque ou du niveau d’avancement encore très faible. Sur les 51 projets, seuls 42 avaient un REAE disponible, et 37 d’entre eux seulement comportaient une notation des aspects environnementaux et sociaux dans le REAE. L’évaluation a mesuré la qualité des informations fournies dans ces 37 REAE et a déterminé que seuls 24 ont suffisamment justifié la note attribuée. L’évaluation s’est également penchée sur les informations de 89 projets classés dans les catégories 1, 2 et 4

81. Sur les 89 projets de catégories 1, 2 et 4 examinés du point de vue des questions environnementales et sociales, 30 ont nécessité la définition de mesures de Sauvegarde opérationnelle concernant la réinstallation involontaire, l’acquisition des terres, le déplacement des populations et l’indemnisation. La moitié de ces projets avaient suffisamment avancé pour être supervisés par la Banque. Aucun de ces 15 projets de l’échantillon examiné dans le cadre de cette évaluation n’a précisé si l’indemnisation au coût intégral de remplacement était appliquée (renforcé avec l’approbation du SSI) ou si le montant de l’indemnisation entraînait les conditions de vie, ou la capacité des PAP à gagner un revenu. L’équipe d’évaluation a pu vérifier sur le terrain que la qualité des maisons construites pour les familles réinstallées du fait de la construction d’un projet hydroélectrique au Cameroun était mieux que celle de leurs maisons précédentes. Toutefois, il n’a pas été possible de vérifier si le nombre total de personnes était mieux qu’auparavant étant donné que les données de référence étaient obsolètes.

82. Le rapport a relevé que ce problème est partagé par d’autres institutions telles que la Banque mondiale et la Banque asiatique de développement. Par exemple, le Groupe d’évaluation indépendante de la Banque mondiale a souligné la faiblesse de la supervision des questions environnementales et sociales comme une grande source de préoccupation dans sa Revue des politiques de sauvegarde 2010, et le non-respect des critères en matière de supervision des sauvegardes environnementales et sociales était la principale raison des plaintes adressées par les personnes affectées au Panel d’inspection de la Banque mondiale.

83. Le Groupe de la Banque africaine de développement (1994) « En quête de qualité – Rapport du groupe d’étude sur la qualité des projets de la Banque africaine de développement » (Rapport Knox) ; Groupe de la Banque africaine de développement (2016) « Évaluation globale des résultats de développement du Groupe de la Banque africaine de développement (2004-2013) – Rapport de synthèse ».

84. Pour les opérations du secteur privé, le contrôle qualité doit également contribuer à la réduction du risque de dépréciation, qui comprend l’identification des risques à différents niveaux et des dispositifs de gestion et de suivi pour les aborder.

85. La supervision du portefeuille comprend l’examen du portefeuille, l’examen du rendement du portefeuille pays, le tableau de bord de suivi du rendement du portefeuille, et l’achèvement du programme pays.

97Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

86. Groupe de la Banque africaine de développement (2013). Staff Guidance Note on Quality at Entry Standards for Public Sector Operations – 2013 Update (ADF/BD/IF/2013/206).

87. Groupe de la Banque africaine de développement (2009). Revised ADOA Framework. ADB/BD/WP/2009/150.

88. Groupe de la Banque africaine de développement (2015). Private Sector Operations Business Manual.

89. Groupe de la Banque africaine de développement (2015). Private Sector Operations Business Manual

90. Groupe de la Banque africaine de développement (2012). Revised Guidelines for the Preparation of Expanded Supervision Report and Expanded Supervision Report Review Notes

91. Les High 5 de la BAD sont les suivants : « Nourrir l’Afrique », « Éclairer l’Afrique et l’alimenter en énergie » et « Améliorer la qualité de vie des Africains », « Intégrer l’Afrique », et « Industrialiser l’Afrique ».

92. Les intermédiaires financiers comprennent les banques, les compagnies d’assurance, de réassurance et de crédit-bail, les institutions de microfinance, les fonds de capital-investissement et les fonds d’investissement.

93. Déclaration de la politique du SSI (2015), page 2.

94. Le SSI mentionne également le rôle d’IDEV dans la validation de l’information environnementale et sociale incluse dans les rapports d’achèvement de projet. L’évaluation n’a pas pu inclure cet aspect dans l’analyse en raison du faible échantillon de RAP et de rapports de supervision élargis dans l’échantillon de projets. Aucun des éléments disponibles n’a été validé par IDEV.

95. Le SSI de la Banque utilise les projets comme l’ensemble des opérations de prêt et des activités de projet financées par la Banque (PEES, 2015, page 9). Pour les projets de catégorie 4 (intermédiaires financiers), le document à publier est le système de gestion environnementale et sociale (SGES) de l’intermédiaire financier.

96. En tant qu’étape clé du contrôle de la qualité à l’entrée, la Division de la conformité et des sauvegardes participe à l’examen de l’état de préparation de la note conceptuelle du projet et du RAP.

97. Comme l’explique le tableau suivant, les procédures applicables aux opérations du secteur privé sont moins explicites en ce qui concerne les critères de supervision. Un processus de réorganisation des PEES 2015 est en cours afin d’y remédier.

98. Les PEES 2001 comprenaient un libellé semblable. L’emprunteur est responsable de l’exécution du PGES, y compris du respect des indicateurs définis dans les documents d’exécution des projets, dans les politiques et lignes directrices de la Banque, ainsi que dans des clauses relatives aux questions environnementales et sociales figurant dans les documents de prêt. L’emprunteur est également chargé d’assurer la surveillance et le suivi des questions environnementales et sociales, et de rendre compte à la Banque des résultats de l’exécution du PGES dans des rapports trimestriels réguliers.

99. Cameroun, Maroc, Kenya, Sénégal et Zimbabwe.

100. L’équipe a mené plus de 200 entretiens avec des chefs de projet, des chargés des investissements, des chargés de la gestion de portefeuille, des spécialistes institutionnels tels que les chargés de programmes pays, des spécialistes des sauvegardes, des experts fiduciaires et en matière de genre, des directeurs et responsables sectoriels, des directeurs et membres du Conseil d’administration, et des cadres supérieurs.

101. La revue de l’état d’avancement de l’exécution a été actualisée en 2013 ; la méthodologie ADOA a été révisée en 2014 ; le format du RAP et les lignes directrices concernant les ONS pour le suivi du portefeuille ont été révisés en 2013-2014 ; le REAE, les lignes directrices concernant les ONS et les directives sur l’évaluation des risques de crédit ont été révisées en 2015, outre la création d’unités pour les opérations spéciales.

102. Cadres supérieurs du Secrétariat du Comité des opérations et du contrôle qualité ; vice-présidents principaux ; Département des opérations non souveraines et appui au secteur privé ; Prestation de services, gestion de la performance et résultats ; Division de la conformité et des sauvegardes ; Centre en charge du développement régional, de l’intégration et des prestations de services en Afrique orientale et australe ; Division de l’Agriculture et du Développement humain et social ; et Unité du risque de crédit.

À propos de cette évaluation

Ce rapport présente les constatations, conclusions et recommandations de l’évaluation indépendante de l’assurance qualité tout au long du cycle de projet, pour les opérations des secteurs public et privé du Groupe de la Banque africaine de développement (la Banque) sur la période 2012–2017.

L’évaluation vise à déterminer dans quelle mesure les processus d’assurance qualité (AQ) de la Banque sont appropriés; sont conformes aux normes d’assurance qualité; abordent la gestion des risques; et contribuent à l’apprentissage organisationnel ainsi qu’à la réalisation des résultats de développement. Ses résultats devraient éclairer les réformes en cours des processus institutionnels de la Banque. L’évaluation s’appuie sur deux évaluations indépendantes: i) de la qualité à l’entrée et ii) de la qualité de la supervision et à la sortie des opérations du Groupe de la Banque. Elle analyse également la conformité des processus d’assurance qualité aux sauvegardes environnementales et sociales (SES) de la Banque.

L’évaluation a jugé positive la direction prise par les récentes réformes entreprises par la Banque en matière d’assurance de la qualité et de l’efficacité du développement. Toutefois, certaines lacunes ont été relevées dans le cadre d’assurance qualité en ce qui concerne les meilleures pratiques, telles que l’application des critères d’indépendance, de contestabilité et de vérification. Elle a également noté les difficultés rencontrées dans le respect des procédures existantes de la Banque, telles que l’utilisation incohérente des descriptifs de projet et des examens à mi-parcours. L’évaluation a mis en évidence un ratio élevé de gestionnaires de projets par rapport à des organisations similaires et que le nombre de spécialistes (risque, juridique, fiduciaire, SES) chargés de l’assurance qualité n’était pas à la mesure de la croissance du portefeuille de la Banque.

L’évaluation fait diverses recommandations à la Banque en vue d’améliorer son système d’assurance qualité. Celles-ci consistent notamment à réduire le nombre d’étapes requises dans le processus d’examen, tout en renforçant la pertinence et l’efficacité des divers examens, en établissant des procédures différenciées pour l’approbation des opérations en fonction du risque, en renforçant l’allocation des ressources et en stimulant la qualité à l’entrée, la qualité de la supervision et la qualité à la sortie des projets. Elle recommande également de renforcer les facteurs contextuels qui interagissent avec le système d’assurance qualité de la Banque, tels que l’amélioration de la préparation des pays membres régionaux et leur capacité à gérer les investissements publics.

Groupe de la Banque africaine de développementAvenue Joseph Anoma 01 BP 1387, Abidjan 01 Côte d’IvoireTél : +225 20 26 20 41Courriel : [email protected]

idev.afdb.org

Une évaluation institutionnelle IDEV

Con

cept

ion

& m

ise

en p

ages

: C

RÉO

N •

ww

w.c

reon

desi

gn.n

et

Documents

Évaluation de l’assurance qualité tout au long du cycle de projet …idev.afdb.org/sites/default/files/documents/files/Quality Assurance... · et Najade Lindsay, Consultante Autres