YAOUNDÉ, DU 22 AU 24 JUIN 2010

LIEU: MONASTÈRE DES BÉNÉDICTINS

Séminaire atelier sur le renforcement des

capacités des responsables des

organes dirigeants du CNJC

Par Mathias MPABE, Ph.D.Consultant en formation

Thème : l’évaluation des performances

Plan de l’exposé

1. Définition des concepts2. Objet de l’évaluation des performances3. Méthodologie de l’évaluation des

performances4. Outils de l’évaluation des performances5. Mécanisme de mise en œuvre et de suivi-

évaluation

I. Définition des concepts

L’évaluationL'évaluation est une appréciation systématique et

objective menée dans un cadre méthodologique et institutionnel formalisé, en vue de porter un jugement sur la valeur d’un projet, d’un programme, d’une politique, à partir de leur conception, de leur mise en œuvre et de leurs résultats.

L’évaluation est ainsi un processus systématique et objectif par lequel on détermine la valeur et la portée d'une action projetée (ex ante), en cours (ex itinere) ou achevée (ex post).

L’évaluation suppose la définition d’un standard de référence (normes appropriées), la comparaison des performances réalisées avec ces normes, et la prise de décision par rapport aux résultats obtenus.

Selon le moment on distingue :

l’évaluation ex ante : c’est une évaluation qui est conduite avant la mise en œuvre d’une action. Elle est utilisée pour désigner l’étude de faisabilité d’un projet.

l'évaluation à mi-parcours ou évaluation formative: elle permet de suivre et, éventuellement, de réorienter l'action pendant son déroulement ;

l'évaluation finale, récapitulative ou sommative: elle intervient en fin d'action; elle examine les résultats et permet d’en observer les effets à court terme; elle vise à fournir des informations sur la validité d’un projet ou d’un programme;

l’évaluation ex post : elle s’intéresse aux effets à moyen ou long terme (impacts). Elle peut être réalisée tout de suite après l'achèvement de l'intervention ou longtemps après. Le but est d’identifier les facteurs de succès ou d’échec et d'apprécier la durabilité des résultats et des impacts;

Selon le mode de réalisation de l'évaluation on distingue

• l'évaluation interne : C’est une évaluation conduite par un service et/ou des personnes qui dépendent des responsables de l'action au sein de l’organisation chargée de la mise en œuvre du projet ou du programme;

• l'évaluation externe : C’est une évaluation conduite par des services et/ou des personnes extérieures à l'organisation responsable de la mise en œuvre; ce qui favorise un regard neutre, neuf et en principe sans préjugés.

Autres concepts

• l'audit s'assure que la mise en œuvre d’un projet s'effectue dans le respect des règles et des procédures. Il est réalisé par des auditeurs spécialisés et accrédités, internes ou externes. L'audit ne s'intéresse ni à la pertinence ni à l'impact du projet

• le contrôle de gestion et le pilotage sont des processus continus permettant d’assurer un suivi régulier de l’activité. Ils sont effectués en interne, sur la base des données recueillies dans les systèmes d’information élaborés.

• l'inspection procède à un contrôle de conformité par rapport aux normes financières, aux procédures administratives et aux orientations politiques. Effectuée par des inspecteurs internes, elle exige un suivi et ses recommandations ont un caractère obligatoire et contraignant.

II. L’objet de l’évaluation

L’objet de l’évaluation part d’uneproblématique

Quelles sont les principales préoccupations du commanditaire ?

S’agit-il d’une évaluation sommative ou récapitulative (destinée à rendre compte aux décideurs)?

ou d’une évaluation formative (destinée à tirer des enseignements pour les opérateurs) ?

Quelles sont les interrogations et les attentes des parties prenantes ?

Y a-t-il une priorité ou une hiérarchie dans les questions?

L’ objet de l’évaluation

L’évaluation peut s’intéresser à : Une action, un projet, un programme, une

stratégie, une politique.

Dans le but : De vérifier la pertinence et la cohérence des

objectifs de départ; D’apprécier la mise en œuvre des moyens ainsi

que leur adéquation par rapport aux objectifs envisagés;

De mesurer l'efficacité de l'action, c'est à dire le degré d'atteinte des objectifs ;

D’examiner la durabilité des effets observés.

III. Méthodologie de l’évaluation

La démarche évaluative

Il s’agit de choisir un référentiel d’évaluation, de décrire les différentes tâches à effectuer à chaque étape. Le référentiel de l’évaluation des performances d’un projet comporte les éléments suivants :

l'objet de l'évaluation (Quoi? L’action à évaluer); Les objectifs de l'évaluation (Pourquoi? Les justificatifs); les acteurs de l'évaluation (Avec qui?); les critères de l'évaluation; les méthodes de recueil données (recherche documentaire,

visites, protocoles d’observation); les indicateurs de l'évaluation; les outils de l'évaluation; la planification de l’évaluation :

Organisation; Temps/ chronogramme; Ressources disponibles; Collecte et traitement de l’information; Rapport: préconisations/recommandations; Prise de décision.

Les critères de l’évaluation

Les critères de l’évaluation sont des caractéristiques qui permettent d’apprécier les résultats d’une action, d’un projet, d’un programme ou d’une politique.

Exemples de critères

Les critères présentés ci-après doivent être repris selon un questionnement qui s’applique à l’action à évaluer.

Pertinence

Cohérence

Effectivité

Efficacité

Efficience  

Impacts-Effets

Conformité

Satisfaction

 Utilité sociale

Etc.

La pertinence 

Examine le bien-fondé de l'action au regard des objectifs et enjeux déterminés au départ. Les éléments suivants peuvent être examinés : Correspondance avec les besoins et les demandes

des bénéficiaires ; Conformité avec les orientations générales du

ministère (document-cadre de partenariat, stratégies sectorielles, etc.).

La cohérence

Apprécie les rapports entre les divers éléments constitutifs de l'action. Les éléments suivants peuvent être examinés : Concordance des divers moyens et instruments

mobilisés pour concourir à la réalisation des objectifs (cohérence interne) ;

Concordance avec les actions entreprises par les partenaires : administration, société civile, organisations non gouvernementales (cohérence externe).

L'effectivité

Rend compte de la réalité des actions conduites. Les éléments suivants peuvent être examinés : Degré de réalisation des activités ; Taux d’exécution financière ; Respect des délais et du chronogramme ; Qualité du suivi et de la gestion des imprévus ; Recherche des éléments de surcoût éventuel et de leurs

causes; Vérification, le cas échéant, de l’application des clauses

(signature de la convention, cahier des charges, déblocage des fonds, conditions suspensives)

L'efficacité

Apprécie le degré de réalisation des objectifs de l'action ainsi que ses éventuels effets. Les éléments suivants peuvent être examinés :• Résultats attendus et résultats effectifs

de l’action ;• Résultats imprévus (négatifs ou positifs,

effets d’aubaine) ;• Analyse des écarts constatés.

L'efficience

Etudie la relation entre les coûts et les avantages. Les éléments suivants peuvent être examinés : Mobilisation des ressources financières, techniques,

organisationnelles et humaines à temps et au moindre coût ;

Comparaison des coûts avec des éléments de référence pertinents;

Concordance entre les résultats obtenus et les sommes dépensées ;

Atteinte des mêmes résultats avec des moyens plus restreints ou des instruments différents en comparaison avec des actions équivalentes d’autres organisations.

L'impact

Permet d’apprécier les retombées de l'action en étudiant les effets tant immédiats qu’à long terme de celle-ci, dans un environnement plus large. Les éléments suivants peuvent être examinés : Identification des bénéficiaires (directs et/ou

indirects) de l’action ; Estimation du nombre de personnes concernées ; Description quantitative de l’impact de l’action ; Description qualitative de l’impact de l’action

(négatif, positif, attendu, imprévu); Visibilité de l’opération.

La viabilité (ou la durabilité)

Examine si l’action a engendré des structures ou favoriser l’émergence des pratiques capables de se développer et de se pérenniser après la fin de l’intervention.

Les éléments suivants peuvent être examinés : Viabilité financière et opérationnelle des mécanismes ; Prise en charge institutionnelle des activités par les

responsables de l’action et/ou les autorités locales des activités

Possibilité de reproduire ou de généraliser l'opération.

REPRESENTATION SCHEMATIQUE DES PRINCIPAUX CRITERES D'EVALUATION

CONSEIL NATIONAL D'EVALUATION – FRANCE 1996

 

BESOINS

Objet Objectifs Moyens

ACTION

ENVIRONNEMENT

(Contexte)

Impact (long terme)

EFFETS

Impact (moyen terme)

Efficacité

Résultats

Efficience

Acteurs

Cadres de Jeunesse

Equipes dirigeantes du CNJC

Jeunes défavorisés

Jeunes bénéficiaires d’un financement FIJ

Leaders d’associations

Membres d’associations

Membres de la Société civile

Animateurs d’événements, etc.

Les indicateurs

Un indicateur est un élément qui permet de déterminer en termes de quantité ou de qualité le résultat de la mesure de l’atteinte d’un objectif ou de toute autre variable du contexte d’évaluation (ressources, infrastructures, gestion, effets, etc.)

L’indicateur produit une information synthétique

quantifiée permettant d’apprécier les divers aspects d’une action, d’un projet, d’un programme ou d’une stratégie.

Catégories d’indicateursOn peut distinguer trois grandes catégories d’indicateurs :

1. les indicateurs d’environnement ou de contexteLes indicateurs de contexte (ou de situation) reflètent les contraintes générales de l’intervention et fournissent des éléments sur l’état des lieux avant projet;2. les indicateurs de moyens et d’activités Ces indicateurs informent sur la disponibilité, l’affectation des ressources humaines, organisationnelles et financières qui permettent la production des services (extrants ou output)3. les indicateurs de résultats ou de performanceLes indicateurs de performance sont directement associés aux critères de l’évaluation, notamment: L’efficacité; L’efficience; L’impact

Éléments de détermination des indicateurs

activités (nombre d’activités rélisées)

gestion administrative (liste du personnel, courrier, etc.)

gestion financière (documents comptables et financiers)

animation d'équipes de travail (nombre de réunions, périodicité des rencontres, etc.)

  Capacités professionnelles et

comportementales (dossiers traités, problèmes résolus, présence effective…)

  encadrement (niveau d’exécution du

programme d’actions, approche managériale…)

finances(budget,ressources, dépenses, contrôle)

formation(renforcement de capacités) 

infrastructures, matériels et équipements

communication (up-down) 

lieux (sites - contextualisation)

Associations (nombre, caractéristiques des adhérents)

 ressources humaines

recherche de financement,

recherche de partenariat

participation (taux de participation)

cadre juridique(lois, statuts, règlement, etc.)

 

IV. Outils de l’évaluation

Instruments de recueil d’informations (liste non

exhaustive)

Questionnaires;Guides d’entretien;Entrevues;Grilles d'observation; Fiches anecdotiques;

Échelles d'appréciation;

Listes de vérification (check-lists);

Tests de performance (dossiers, rapports, situation-problème, etc.)

Tableaux de bord.

V. Mise en œuvre et suivi-évaluation

Le « suivi-évaluation » Monitoring and Evaluation

Le suivi-évaluation est un processus continu de collecte systématique d'informations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux parties prenantes d'une action de développement en cours, des éléments sur les progrès réalisés, les objectifs atteints et les difficultés éventuelles pour une rétroaction;

Le suivi est assuré en interne, de manière continue, par les responsables des actions. Toutefois, le suivi-évaluation et l’évaluation rétrospective se réfèrent aux mêmes techniques et s’enrichissent mutuellement.

La mise en place d’un système de suivi

Le système de suivi doit être conçu dès le départ en précisant les méthodes, les ressources, les responsabilités, la périodicité;

Il doit prévoir une batterie d’indicateurs quantitatifs de réalisation présentés sous forme de tableau de bord;

Il doit associer toutes les parties concernées au processus de suivi ;

Il doit prendre en compte les données extérieures au projet (environnement social, politique, économique) pour apprécier son impact;

Le dispositif de suivi-évaluation

1. Objectif et étendue du système de suiviLa nature du système de suivi est fonction des objectifs, du coût estimé et des difficultés envisagées.Construction d’un cadre logique (activités, processus, moyens, réalisations, résultats et impacts);

2. les indicateursPrécision des indicateurs de performance attendus. Choix d’indicateurs pertinents,

3. La collecte des informations et l’organisation du dispositifDéterminer des priorités: certaines données ont une utilité immédiate dans le suivi, d’autres seront nécessaires dans la phase ultérieure d’évaluation rétrospective.

4. Renforcement des capacitésintégrer une dimension renforcement des capacités des acteurs internes.

Responsabilités et tâches

Déterminer le cadre logique: hiérarchie des objectifs, indicateurs pertinents par rapport à chaque composante à évaluer, mécanismes de suivi;

Définir des questions relatives à la performance du projet et des critères d’évaluation;

Fixer le cadre et les procédures d’évaluation des activités du projet.

Choisir les méthodes de collecte et s’assurer de leur adéquation par rapport à l’évaluation de l’impact.

Examiner la qualité des données socioéconomiques disponibles dans la zone du projet;

Établir un plan de renforcement des capacités des acteurs y compris les bénéficiaires, notamment pour les aspects participatifs;

Définir le schéma et les procédures du suivi opérationnel.

Exemple de démarche évaluative

Objet  de l’évaluation: L’insertion socio économique des jeunes

Objectifs de l’évaluation: Déterminer le niveau d’acquisition de la culture

entrepreneuriale des acteurs identifiés ; Apprécier l’utilisation des capacités entrepreneuriales

acquises ; Apprécier l’effet de l’activité professionnelle sur leur

mode de vie.

Exemple de démarche évaluative (suite)

Acteurs : Jeunes non formés bénéficiaires d’un financement du

Fonds d’Insertion des Jeunes (FIJ); Jeunes formés ayant reçu un financement du FIJ; Jeunes formés n’ayant pas reçu un financement du FIJ; Leader d’associations.

Critères : satisfaction ( autonomie sociale, autonomie de

gestion, partenariat gagnant-gagnant) ; rentabilité (gain, profits, bénéfices, réalisations,

valeur ajoutée).

Exemple de démarche évaluative (suite)

Indicateurs : siège structures administratives de l’entreprise compte de gestion documents administratifs (organigramme, liste du personnel, courrier, etc.) documents comptables et financiers (registre de commerce) Infrastructures, matériels et équipement budget personnel mode de déplacement lieu d’habitation personnes à charge recherche de financement, recherche de partenariat

Instruments: Questionnaire Guide d’entretien Visites Grilles d'observation Check-lists (listes de vérification) Recherche documentaire (Textes, Contrats, Conventions, …)

Les résultats de l’évaluation

La présentation des résultats d'une évaluation s’accompagne d’un exposé clair de son objet, de ses objectifs, de ses destinataires, des questions posées, des méthodes utilisées et de leurs limites, ainsi que des arguments et critères qui conduisent à ces résultats.

Les conclusions de l’évaluation

 Les conclusions de l’évaluation doivent :Répondre aux questions posées dans les

termes de référence;Indiquer les forces et les faiblesses du projet

ou du programme;Déterminer les causes des écarts par rapport

aux objectifs initiaux.Décrire les moyens utilisés pour valider ces

conclusions.

Les recommandations

Ce sont des propositions qui contribuent à améliorer les performances du projet. Les recommandations indiquent:

Comment les atouts (forces) du projet peuvent être consolidés;

Dans quelle mesure les difficultés (faiblesses) du projet pourraient être résolues;

La hiérarchie des préconisations selon leur importance;

La hiérarchie des préconisations selon un calendrier prévisionnel;

Les recommandations d’ordre stratégique et celles d’ordre opérationnel.

Je vous remercie pour votre

bienveillante attention…

EXEMPLE

Etude relative à l’inventaire de l’existant sur les petits métiers et métiers du secteur jeunesse

Contexte et justification

Valorisation des ressources humaines pour un développement durable ;

Lutte contre la pauvreté à travers la création d’emplois jeunes, de petits métiers liés aux secteurs jeunesse et sport.

L’avènement de la décentralisation et la nécessité de mieux structurer et former les jeunes ;

L’existence d’un nombre important de jeunes en déperdition scolaire et nécessitant une insertion ou une reconversion socio-économique et professionnelle.

Objectifs

Identifier les métiers existants et inventorier les métiers potentiels ;

Catégoriser les métiers, les structurer, les stabiliser, identifier des mécanismes ou stratégies de promotion et former des jeunes aux activités génératrices de revenus.;

Constituer une base d’informations générales et nationales actualisables avec l’évolution des secteurs ;

Approche méthodologique

Préparer et élaborer des outils de collecte et d’analyse des données ;

Utiliser les relais (nationaux , régionaux ou locaux );

Interviewer des agents existants, des acteurs du mouvement sportif, associatif, les collectivités territoriales décentralisées et tout autre intervenant dans un domaine susceptible de favoriser l’émergence ou le recours à des métiers relatifs aux secteurs jeunesse et sport ;  ;

Fournir un rapport détaillé et une base de données informatisée.

INDICATEURS GÉNÉRAUX POUR LA LABELLISATION D’UN

ORGANISME DE FORMATION

Evaluation d’une organisation

Résultats attendus

Rédiger un rapport détaillé et une base de données informatisée qui donne des indications sur les éléments caractéristiques de métiers en sport et jeunesse mais aussi qui inventorie de façon générale les métiers possibles ou existants

Identifier les bassins potentiels des petits métiers dans notre pays et dans la Sous-Région ;

Déterminer les grandes tendances des besoins en formation des publics cibles.

Sur l’organisme lui-même

Statut ;  Organes de gouvernance ; Existence d’une politique de

développement (Plan stratégique, projet d’établissement, plan d’affaires, etc) ;

Existence d’un Système Intégré de Gestion ;

Degré de spécialisation de l’organisme dans le domaine concerné ;

Références de l’organisme (sur le même type d’action) ;

Flexibilité pour construire des cas spécifiques, pour modifier le produit et s’adapter aux besoins du client par rapport à des réponses toutes faites ;

Capacités de recherche Ressources documentaires ; Adhésion à un réseau

opérationnel national, régional ou international d’organismes de formation, ;

 Existence de partenariats (entreprises, organisations professionnelles) ;

Compétences administratives et comptables

Infrastructures et équipements ;

Sources de financement et gestion des ressources financières

Sur le personnel

Effectifs de l’organisme (le nombre de formateurs permanents par apport aux vacataires) ;

Curriculum Vitae des intervenants ;

Qualité du personnel (statut, qualification, expérience) ;

« Styles » des intervenants (adéquation avec le public à former).

Sur l’offre elle – même

Les programmes ;  Précision de la

construction pédagogique ; 

Cohérence de l’offre, son approche globale;

Qualité de l’argumentation de l’offre ;

Qualité du dispositif d’évaluation de formation proposé;

Qualité de l’offre pédagogique (contenu, progression, évaluation) ;

Présence, diversité et qualité des supports ;

Nature des engagements sur le suivi de l’action ;

Communication sur l’action, auprès du public visé ;

 Coût(dont on demandera une décomposition pour les actions importantes) ;

Modulation du coût en fonction de la taille du marché.

Le tableau de bord

Le tableau de bord de gestion comporte des axes d’action assortis d'indicateurs pertinents permettant à un gestionnaire de suivre l'évolution des résultats, les écarts par rapport à des valeurs de référence (objectifs fixés, normes internes ou externes, références statistiques, etc.);