1

Délégation de l'Union Européenne en Tunisie

Evaluation finale des programmes d’appui budgétaire sectoriel Education secondaire et Manform II; DPS 2011/260582

Rapport final Missions du 18 juillet au 5 août 2011 et du 1er au 14 février 2012

2

Equipe de réalisation :

Jean-François Bernede, Expert Éducation

Jacques Gaude, Expert Emploi et Formation

Jean-Paul Nicolau, Expert Formation et Emploi, Chef d'équipe

3

Sommaire

Acronymes 4

Première partie

1 Résumé 7

2 Objet et contexte de la mission 11

3 Réponses aux questions/constatations 13

3.1 Réponses communes aux deux programmes 13

3.1.1 L’instrument ABS 13

3.1.2 Cohérence et valeur ajoutée 17

3.2 Évaluation du programme Enseignement Secondaire 17

3.2.1 Pertinence du champ, des objectifs et du choix des indicateurs de performance

(tranches variables) 17

3.2.2 Efficience 20

3.2.3 Efficacité du programme 21

3.2.4 Impact 24

3.2.5 Durabilité 25

3.3 Le programme MANFORM II 26

3.3.1 Pertinence 26

3.3.2 Efficience 27

3.3.3 Efficacité 27

3.3.4 Impact et durabilité 34

4 Conclusions et recommandations 36

4.1. Conclusions d’ordre général 36

4.2. Recommandations relatives à un programme d’appui à l’Enseignement Secondaire 37

4.3. Recommandations relatives à un programme d’appui à la Formation Professionnelle (pour

l’Emploi) 39

Deuxième partie

5. Compléments après restitution de l’évaluation 41

5.1. Préambule 41

5.2. Rappel des conclusions et recommandations de l’évaluation 42

5.3. Compléments / Conclusions et recommandations de l’évaluation 45

6. Annexes 50

4

Acronymes

ABS Appui Budgétaire Sectoriel

AMAL Programme Amal de recherche active d’emploi1

ANETI Agence nationale pour l’emploi et le travail indépendant2

API Agence d e promotion de l'Industrie

APIA Agence de promotion des investissements agricoles3

APII Agence de Promotion de l’Industrie et de l’Innovation4

ATFP Agence tunisienne de la formation professionnelle5

AVFA Agence de la vulgarisation et de la formation agricoles6

BAD Banque Africaine de Développement

BEPP Bureau des études, de la planification et de la programmation (ME)

BM Banque Mondiale

BTS Banque tunisienne de solidarité

CAD Comité d’aide au développement

CDMT Cadre de dépenses à moyen terme7

CNS Conseil national de la statistique8

CGDR Commissariat Général au Développement Régional

CNFCPP Centre national de formation continue et de promotion professionnelle

CENAFFIF Centre national de formation de formateurs et d’ingénierie de formation9

CENAFFE Centre national de formation de formateurs de l'Enseignement

CNIPRE Centre national d’innovation pédagogique et de recherche en éducation10

CREFOC Centres régionaux de l’éducation et de la formation continue11

DUE Délégation de l’Union Européenne

DGRH Direction générale des ressources humaines (MPCI)

EB Éducation de base

1http://www.kapitalis.com/proximite/53-societe/3871-tunisie-precisions-sur-le-programme-amal-de-recherche-demploi.html

2 http://www.emploi.nat.tn/fo/Fr/global.php

3 http://www.apia.com.tn/

4 http://www.tunisieindustrie.nat.tn/fr/home.asp

5 http://www.emploi.gov.tn/index.php?id=381

6 http://www.avfa.agrinet.tn/fr/liens.php

7 Le Cadre sectoriel de dépenses à moyen terme (CDMT) est un outil de comparaison reliant la programmation des

dépenses et la mobilisation des ressources, sur une période de 3 à 5 ans. Il permet aussi de rapprocher l’affectation des ressources et les objectifs de la politique sectorielle. C’est un instrument indispensable pour évaluer la pertinence à court et moyen termes des dépenses relevant de la stratégie suivie par rapport aux moyens financiers mobilisables. 8 http://www.cns.tn/plateforme/sitesnationaux.php

9 http://www.cenaffif.edunet.tn/

10 http://www.cnipre.edunet.tn/sitefr/index.php?id=21

11 http://www.edunet.tn/index.php?id=518&lan=2

5 ES Éducation secondaire

FENELEC Fédération nationale de l'électricité, de l'électronique et des énergies renouvelables

FNB Fédération nationale du bâtiment (UTICA)

FNE Fonds national de l’emploi (21-21)12

FP Formation professionnelle

GBO Gestion budgétaire par objectifs

GEROCMI Groupe d’études et de recherche pour l’observatoire des compétences et des métiers innovants

IGE Inspection générale de l’éducation

IMEF Institut des métiers de l'éducation et de la formation

INS Institut national de la statistique13

ISEFC Institut supérieur d’éducation et de formation des cadres

ISFM Institut supérieur de formation de maîtres (enseignement supérieur)

LO Loi d’Orientation

MAE Ministère de l'Agriculture et de l'Environnement14

MDCI Ministère du développement et de la coopération internationale

ME Ministère de l’éducation

MEFP Ministère de la formation professionnelle et de l’emploi15 (ex MEF)

MESRT Ministère de l'enseignement supérieur et de la recherche scientifique

MF Ministère des Finances

MIT Ministère de l'Industrie et de la Technologie

MDR Ministère du développement régional

MPCI Ministère de la Planification et de la Coopération Internationale

MTEF Medium Term Expenditures Framework

OCDE Organisation de coopération et de développement

ODCO Office du développement du centre-ouest

ODNO Office du développement du nord-ouest

ODS Office du sud du développement

ONAGRI Observatoire national de l’agriculture

ONCMI Observatoire national des compétences et des métiers innovants16

ONEQ Observatoire national de l’emploi et des qualifications17

12

http://www.emploi.gov.tn/index.php?id=908 13

http://www.ins.nat.tn/indexfr.php 14

Portail du gouvernement tunisien : http://www.tunisie.gov.tn/ 15

http://www.emploi.gov.tn/?id=3&L=0 16

L’ONCMI est chargé de réviser périodiquement les normes de formation pour les ajuster aux évolutions du marché du travail (titre V, art. 54).

6 PAP Programme d’actions prioritaires

PAPS Programme d'appui à la politique sectorielle

PEFA Public Expenditure and Financial Accountability (Dépenses publiques et responsabilité financière)

PEFESE Programme d’appui à l’Éducation / Formation - Enseignement Supérieur et Employabilité des diplômés

PIN Programme indicatif national (Coopération UE-Tunisie)

PRONAFOC Programme national de la formation continue

PS Programme sectoriel

PTF Partenaires techniques et financiers

RNQFP Référentiel national qualité de la formation professionnelle18

R.P.E. Ressources propres des établissements

TAND Tableau d'affichage des normes de diffusion (FMI)

TIC Technologies de l’information et de la communication

UGTT Union générale tunisienne du travail

UNESCO Organisation des Nations unies pour l’Éducation, la Science et la Culture

UTAP Union tunisienne de l’agriculture et de la pêche

UTICA Union Tunisienne de l'Industrie, du Commerce et de l'Artisanat

17

http://www.emploi.gov.tn/?id=3&L=0

18 http://bouassida.netai.net/web_documents/rnqfp-v6.1_final.pdf

7

Première partie

1 Résumé

L’évaluation finale des programmes d’Appui Budgétaire Sectoriel sur l’Éducation Secondaire (ABS) et sur la Formation Professionnelle (Manform II) repose sur l’analyse de l’instrument ABS suivie de l’évaluation séparée des deux programmes.

L’instrument ABS

De gros progrès ont été enregistrés en matière de préparation d’un Cadre des Dépenses à Moyen Terme (CDMT) par l’existence au sein des deux ministères d’une équipe de fonctionnaires dûment formés par l’Assistance Technique fournie par les deux programmes. Le CDMT assure un cadrage triennal précis des recettes et dépenses de chaque ministère. L’unité de Gestion Budgétaire par Objectifs mise en place permet d’assurer des objectifs par ligne budgétaire, conduisant ainsi à plus de cohérence et de complémentarité dans les approches (programme et projet) des différentes aides tout en réduisant l’éparpillement des efforts.

L’assistance technique19 fournie par les deux programmes dans ce domaine a été très productive en matière d’appropriation des outils universels d’un Programme d’Appui aux Politiques Sectorielles (PAPS).

En revanche, la mission considère que, globalement, la modalité PAPS n’a pas réellement contribué à :

- Améliorer les capacités institutionnelles en raison d’un manque de vigilance des ministères bénéficiaires (mais aussi du MDCI) sur les progrès à accomplir en matière de « Gouvernance », tant dans le secteur de l’Éducation Secondaire que dans celui de la Formation Professionnelle ;

- Coordonner l’action des bailleurs de fonds au Ministère de l’Éducation, par une meilleure concertation entre le ME et le MDCI en matière de coopération internationale, en évitant les effets « pervers » pouvant résulter de la séparation Éducation et Formation Professionnelle en 2009. Concernant MANFORM II, la réunion de coordination des bailleurs au CENAFFIF en présence des représentants des principaux partenaires de la formation professionnelle en Tunisie aura au moins permis de clarifier plusieurs aspects de la politique mise en place par le Ministère de la Formation Professionnelle et de l’Emploi en matière de formation.

- Consulter les usagers au Ministère de l’Éducation, par défaut de pilotage pour des raisons liées aux déficiences de gouvernance.

Notamment l’absence de données statistiques ou les défauts du traitement des données privent les partenaires20 naturels de l’Éducation et de la Formation Professionnelle des informations et d’outils d’aide à la décision.

19

Cette AT constitue d’ailleurs un modèle auxquels plusieurs responsables d’unités au sein du ME ont fait référence, exprimant le souhait que ce « modèle » puisse se généraliser dans tout programme UE futur, PAPS ou pas, comportant une composante AT. 20

Le MDCI, les Institutions concernant l’Emploi, l’ONEQ, l’UTICA,…

8

MANFORM II manque d’un système d’information cohérent pour le suivi des performances du programme en particulier et du système de Formation Professionnelle en général. Il existe au ministère des outils statistiques21, mais la gestion des demandes et offres d’emploi souffre de nombreuses déficiences (impossibilité de gérer les offres/demandes d’emplois non satisfaites par exemple, qui nourrissent le lien formation-emploi). La remarque précédente sur le déficit de pilotage vaut également pour la Formation notamment dans le cadre d’un système « Emploi - Formation Professionnelle ».

La visibilité de l’aide a été minime, limitée au cercle des hauts responsables des deux ministères et des organisations professionnelles. La mission a constaté qu’à de rares exceptions près22, les cadres des ministères concernés ignoraient l’existence du programme et, a fortiori, l’utilisation de la modalité d’aide par ABS23. Dans ces conditions, il était donc difficile d’attendre une appréciation de la part des responsables sur l’aide en question.

Enseignement Secondaire

Le programme d’appui à l’Enseignement Secondaire a été relativement pertinent puisqu’il a été conçu sur la base de la Loi d’Orientation de l’Éducation Nationale (2002), référence de politique et de stratégies nationales dans ce secteur.

Cependant, au vu de sa position de carrefour entre l’enseignement de base, l’enseignement supérieur et le marché de l’emploi, il faut noter quelques insuffisances. Celles-ci concernent :

- La formation initiale et continue des personnels (pas d’indicateurs à ce sujet) ;

- La qualité de l’enseignement (avec la suppression et/ou l’insuffisance des unités responsables des contenus et de la formation continue des personnels) ;

- L’employabilité : même si la mission principale de l’enseignement secondaire est de préparer les sortants à l’enseignement supérieur et/ou à la formation professionnelle, le sort des sortants (bac ou exclus) entrant sur le marché de l’emploi est préoccupant. Un indicateur pour cela aurait été utile.

Le programme a également été relativement efficient, puisque la quasi-totalité des fonds alloués par l’UE ont été décaissés et utilisés par le Ministère de l’Éducation (sauf une partie affectée pour l’assistance technique non utilisée suite à des malentendus sur l’origine des achats de matériels et services hors taxes).

Deux composantes ont cependant affecté le niveau d’efficience du programme :

- Le manque de souplesse et de transparence dans la gestion et l’utilisation des fonds de l’UE (malgré l’excellent travail réalisé pour la construction d’un cadre des dépenses à moyen terme) ;

- Certaines insuffisances dans la gouvernance du système d’enseignement secondaire (en particulier le rôle quasi exclusif joué par le Bureau des Études, de la Planification et de la Programmation dans la mise en œuvre et la conduite de LABS, sans relais réels dans les autres unités du Ministère et au Ministère du Développement et de la Coopération Internationale ;

- Des malentendus entre le Ministère de l’Éducation et la Délégation de l’Union Européenne sur la signification opérationnelle de l’indicateur 2 (Pourcentage des établissements avec les

21

L’outil statistique privilégié est RXCEL.

22 BEPP et DAF pour l’EN et Coordonatrice du programme pour la FP

23 Les rapports de suivi des programmes ES et MANFORM II, y compris le rapport d’évaluation final, ont été élaborés

avant l’éclatement du MEF. Les cadres du ME et du MFPE actuels, à part les directions spécialisées (CDMT/GBO, Coopération internationale) ont une connaissance de l’ABS via leur formation au CDMT puis au GBO.

9 nouvelles sections équipées et encadrées) puisque le gouvernement a réduit de 9 à 6 le nombre de sections après consultation avec l’enseignement supérieur sur les débouchés de ces filières.

Le programme a été efficace puisqu’il a répondu à son objectif général et à ses objectifs spécifiques et qu’il a satisfait à 9 indicateurs sur 10, reflétant les performances atteintes. Cependant, en raison d’une orientation excessive des objectifs spécifiques vers les questions « d’efficacité interne », l’efficacité n’a pas pu être appréciée de manière « systémique » en particulier au regard des questions d’employabilité et de relations avec la Formation Professionnelle (bien que les deux systèmes aient « cohabité » durant toute la durée du programme).

En matière d’Impact, il est évidemment trop tôt pour pouvoir l’estimer (cela devrait être possible d’ici 2 ans, par exemple en cours d’exécution du nouveau Programme d’appui à l’Éducation / Formation - Enseignement Supérieur et Employabilité des diplômés). Par ailleurs, trop de bouleversements institutionnels sont intervenus pendant et surtout après la fin du programme, entrainant une forte diminution de l’efficience et de l’efficacité du programme, et qui auront à terme un impact négatif sur les effets du programme.

Il vaut donc mieux insister sur sa durabilité où la question essentielle est le rôle joué dans sa gestion et son exécution par les organes de Gouvernance.

De ce point de vue, la durabilité pourra être renforcée dans un futur à moyen terme (dans le cadre de PEFESE en particulier) à condition de travailler les aspects suivants, également essentiels pour l’efficacité et l’impact du programme :

- Cohérence et continuité dans la formulation des politiques et stratégies éducatives

- Élargissement du rôle du BEPP du fait du rôle stratégique de la planification éducative ;

- Décentralisation institutionnelle (et surtout opérationnelle) effective.

Les conclusions et les recommandations du rapport présentent des propositions sur ces cinq aspects

Formation Professionnelle (Manform II)

MANFORM II a été pertinent lors de sa conception car il répondait à un besoin de fournir une formation de meilleure qualité, de privilégier l’identification des besoins des entreprises en compétences dans le contexte de la réforme, et de renforcer le partenariat entre les centres de formation et les entreprises. Toutefois, le programme manque de vision systémique : promouvoir un système qui réponde à la demande passe également par la pédagogie, le mode d’évaluer le suivi, le développement de la formation continue, l’élargissement du partenariat, un management plus libéral, des mécanismes de financements incluant davantage la contribution des acteurs économiques, une déconcentration et un travail de proximité, notamment.

Le programme a été efficient en amont par l’instrument ABS mais, en aval, des sources d’inefficience ont été décelées par les nombreuses procédures administratives, la définition parfois imprécise de certains indicateurs conduisant à des pertes de temps importantes (échange de courrier, missions de suivi fréquentes pour approbation des tranches), etc. Le choix des indicateurs, base logique des décaissements, doivent être mieux définis, quantifiables et vérifiables, et pas seulement par des rapports de suivi. L’assistance technique insuffisamment utilisée comme ressource a fait défaut dans une mesure difficile à appréhender.

Le programme a été dans une large mesure efficace car il a atteint ses objectifs nominaux : le choix des indicateurs cadre bien avec la stratégie à l’origine du programme. Huit indicateurs sur

10 dix ont été validés mais deux autres ne l’ont pas été bien qu’ils soient repris en compte actuellement..

L’impact du programme s’est surtout manifesté par :

- un travail plus rationnel des cadres administratifs avec l’utilisation des outils et des méthodes développés dans le cadre de l’appui budgétaire.

- la prise de conscience populaire des enjeux de la formation et des déséquilibres offre/demande.

- la nécessité à terme de devoir coordonner la formation à l’emploi notamment via un renforcement des attributions de l’Observatoire National des Emplois et des Qualifications24.

Cependant, il est permis de souligner le peu d’impact de la Formation Professionnelle sur une

amélioration de l’emploi. A l’heure actuelle on ne dispose d’aucune donnée sur l’insertion de

sortants de la FP25. Le déséquilibre important entre l’offre des diplômés de la Formation

Professionnelle et l’offre d’emplois des entreprises vient d’une méconnaissance du traitement de

l’emploi (plus de formation ne crée pas plus d’emplois). La relation doit être inversée, l’emploi

est en bout de ligne et dépend essentiellement de la croissance et des investissements. En tout

premier lieu, pour faciliter l’équilibre entre offre et demande on évitera toute confusion

d’interprétation en prenant toutes les mesures pour rendre « missible » les données sur l’emploi

et les données sur la formation, par branche, par secteur économique, et par région.

24

Par l’intermédiaire du programme PEFESE

25 , Une seule tentative d’enquête sur l’insertion professionnelle des diplômés de la FP a eu lieu en 2009 avec l’appui

de la Banque Mondiale mais les résultats peu significatifs n’ont pas été publiés en raison de choix erronnés de l’unité d’observation statistique et d’échantillonnage. La précédente enquête remonterait avant 2000.

11

2 Objet et contexte de la mission

L'objet de l'évaluation finale des deux programmes d'appui budgétaire sectoriel en faveur i) de l'éducation secondaire et ii) de la formation professionnelle (MANFORM II), tel qu’il ressort des Termes de Référence de la mission (Annexe 1 : TdR), est de vérifier dans quelle mesure ces appuis budgétaires sectoriels, de 30 millions d'€ chacun, ont contribué à aider le partenaire dans la mise en œuvre de ses stratégies sectorielles et dans l'obtention des résultats visés et dans quelle mesure ils ont généré des effets durables sur la croissance et le développement.

Cette évaluation porte à la fois sur la pertinence et l'efficacité de l'instrument de financement de l’UE (appui budgétaire sectoriel) et sur l'impact auprès des bénéficiaires institutionnels et des bénéficiaires finaux, le secteur Éducation Secondaire et le système de Formation Professionnelle en premier lieu et en second lieu sur l'insertion professionnelle des formés et les performances économiques des entreprises26.

L'essentiel est de fournir à la Délégation de l'Union Européenne et aux bénéficiaires les recommandations qui s'imposent, au vu des résultats obtenus par cette première expérience d'appui budgétaire sur ces deux secteurs et des enseignements tirés, pour garantir aux prochains programmes d'appui un maximum de pertinence et d'efficacité.

La mission était composée de MM Jean-Paul Nicolau, chef d'équipe, expert en Formation-Emploi, Jean-François Bernede, expert en Éducation, Jacques Gaude, expert en Emploi-Formation. Elle s’est déroulée en deux phases, une troisième phase étant prévue au dernier trimestre 2011. (Voir Annexe 2 : CV des consultants).

La phase de démarrage s’est déroulée en Tunisie du 23 au 27 mai 2011. Elle a permis un premier contact avec les institutions bénéficiaires concernées. Il s'agissait principalement d’identifier la méthodologie de l'évaluation sur la base des documents et des informations collectés et d’esquisser les instruments d’évaluation qui seraient utilisés lors de la mission de terrain. Elle a fait l’objet d’un rapport de démarrage qui, validé, a donné lieu à la 2ème phase de la mission (dite de terrain) du 18 juillet au 5 août 2011.

Comme prévu dans le premier rapport communiqué en son temps aux partenaires du MEN et du MFPE, la mission de terrain a été organisée en 3 parties :

1. Briefing initial avec la DUE27 puis réunions au MEN avec le Directeur du BEPP28, au MFPE avec la personne29 en charge de la Coopération internationale et des relations extérieures. (Voir Annexe 3 : liste des personnes rencontrées).

2. Organisation et déroulement des réunions pour des Groupes de Travail MEN30 ; entretiens avec les responsables d’institutions sous tutelle du MFPE et des responsables de la formation professionnelle à l’UTICA.

3. Entretiens avec des responsables d’unités au niveau central et au niveau des Gouvernorats.

26

Ce second aspect concerne plus particulièrement la Formation Professionnelle

27 M. Abdelaziz Lyamouri,pour le MEN ; M. Nabil Ben Nacef pour MANFORM

28 M.. Hedi Saidi, Directreur du BEEP est le correspondant au MEN pour ce programme d’appui budgétaire

29 Melle Ons Boughattas supplée Mme Nawel Belhadj absente du bureau pour raisons de santé.

30 3 groupes avaient été recommandés dans le rapport de démarrage : GT1 sur les indicateurs d’ »outputs directs »,

GT2 sur l’efficacité de (et les progrès réalisés dans) la mise en œuvre de l’ABS, GT3 sur les « outputs induits » du programme

12 On signalera que la période considérée (congés estivaux et mois de Ramadan) était peu propice à la réalisation d’un travail de concertation soutenu, et toutes les rencontres prévues n’ont pu avoir lieu malgré la préparation qui a pu en être faite préalablement.

En particulier, l’absence de réunion avec le directeur général de l’enseignement secondaire, premier concerné par le programme Enseignement Secondaire, de même qu’avec des responsables du MPCI et du MFPE (direction CDMT et Coopération internationale) ont, dans une certaine mesure, rendu plus délicat la synthèse des analyses et l’agrégation des informations prospectives. (Voir en Annexe 4 : synoptique d’investigation auprès des principaux acteurs).

Au MEN un seul groupe de travail sur les trois prévus avec le Directeur du BEPP (GT1) a pu se réunir et traiter des questions d’outputs (performances et progrès en matière de qualité) du programme ES. Le 2ème groupe de travail sur l’ABS n’a pu réunir que le Directeur BEPP et, très partiellement le Directeur du Budget, confirmant d’ailleurs le fait que seul le BEPP (et partiellement la Direction du budget du MEN et le responsable du secteur Éducation au MF) représente la « mémoire » de ce programme (voir conclusions et recommandations). Les questions qui devaient être traitées par le 3ème groupe l’ont été à l’occasion des réunions individuelles avec des unités du MEN (CNIPRE, CENAFFE, etc.) et à l’occasion des réunions avec des organisations professionnelles (UTICA en particulier).

Au MFPE, des groupes de travail n’ont pas pu être constitués en raison de l’absence de la coordonatrice du programme. En revanche, des entretiens élaborés ont eu lieu avec les responsables des institutions sous tutelle et leurs staffs respectifs et avec des représentants de l’UTICA et de la société civile.

En accord avec la DUE, le BEPP et le MFPE, le Gouvernorat de Nabeul a été choisi pour les visites des unités décentralisées (Commissaire Régional de l’Éducation, CREFOC et lycée Mahmoud Messadi pour ce qui concerne les structures d’ES et Centre sectoriel de formation des arts du feu à Nabeul ; Centre de formation et d’apprentissage de Kélibia pour ce qui concerne la FP).

La mission a toutefois pu être conduite efficacement selon le calendrier prévu. La documentation fournie a été en l’occurrence précieuse (Voir Annexe 5 : Documents consultés).

De manière générale on recommandera d’éviter cette période de l’année pour des missions courtes nécessitant la participation de tous les partenaires nationaux.

Toutes les réunions obtenues se sont déroulées dans un esprit très constructif, orienté vers l’avenir, renforcé par les changements structurels profonds qui sont en train de se manifester depuis le 14/01/2011 dans la société tunisienne et au sein des institutions avec des effets positifs sur le climat et les méthodes de travail.

Organisation de la dernière partie de la mission (Phase de restitution)

Le moment essentiel de cette phase est la tenue d’un atelier de restitution. Cette phase pourrait avoir lieu entre le 15 et le 30 novembre 2011.

Voir en Annexe 14 le projet d’organisation de la 3ème partie de la mission.

13

3 Réponses aux questions/constatations

3.1 Réponses communes aux deux programmes

3.1.1 L’instrument ABS

Afin de disposer d’une référence systémique permettant d’évaluer la pertinence de la modalité PAPS pour les deux programmes, la mission propose le cadre suivant reliant les différents niveaux d’un PAPS (cf. TdR de la mission).

Note : la mission a estimé nécessaire d’utiliser ce cadre pour organiser ses observations et conclusions afin de grouper dans un même schéma méthodologique et sur la base d’un même langage commun, les trois éléments de suivi et d’évaluation des programmes proposés dans ce rapport.

Figure 1 : Niveaux d’évaluation d’un PAPS

3.1.1.1 Domaines d’appréciation du PAPS

L’utilisation de la modalité PAPS pour la formulation et la mise en œuvre des Programmes Enseignement Secondaire et MANFORM II se justifiait en raison de la satisfaction d’au moins 4 des 7 domaines d’appréciation d’un PAPS (cf. rapports des missions d’identification et de formulation) :

1. Existence formelle d’une politique et d’une stratégie sectorielles (Loi d’orientation 2002-80 du 23 juillet 2002 du Secteur Éducation et Formation).

2. Stabilité de la situation macro-économique.

3. Gestion saine et lisible des finances publiques.

Cadre d’évaluation du PAPS

Facteurs contextuels hors d’influence des partenaires

Outputs directs et

induits

Résultats

Impact

Inputs

Organisations et

systèmes

sectoriels

Gouvernance

14 Il est fondamental, dans une période de transition entre un financement sous forme de projets et un financement sous forme d’appui budgétaire sectoriel, d’avoir un dialogue approfondi sur l’évolution des dotations budgétaires et de sa structure pour garantir un financement approprié du secteur et s’assurer qu’elles reflètent aussi l’accompagnement des PTF.

Il est par ailleurs capital pour limiter les effets de substitution de pouvoir suivre l’évolution du financement global du secteur (toutes sources de financement confondues).

Il faut aussi souligner qu’il n’a pas été possible à la mission d’identifier l’utilisation des fonds du PAPS dans les budgets annuels des deux secteurs (pas de traçabilité de l’appui) du fait que la DUE a opté pour un ABS non ciblé.

Il ressort toutefois des entretiens réalisés, les deux certitudes suivantes :

Concernant le programme ES : Tous les partenaires (BEPP, unité GBO et DAF au moins) s’accordent à reconnaitre que ces fonds (qui représentent environ 30 % des dépenses programmées au Titre 2 du budget du MEN) ont été essentiellement consacrées au financement complémentaire de dépenses d’investissements (équipements pédagogiques, équipement nécessaires à l’amélioration de la vie scolaire, etc.).

Concernant le programme FP, MANFORM II : 49 millions de DT (soit l’ABS de 30 millions d’€ au taux de 1,632 en 2007) ont été utilisés pour financer la mise en œuvre de la stratégie d’amélioration de la Formation Professionnelle pour l’Emploi qui a nécessité un investissement de 160,4 millions de DT.

(Voir Annexe 6 : CDMT 2007-2009 pour la FP). Ce premier appui budgétaire a apporté un complément de ressources budgétaires assurant ainsi environ 40% des dépenses additionnelles.

4. Suivi des performances budgétaires (CDMT puis GBO en particulier), même s’il faudra attendre le PAPS pour commencer la préparation d’un MTEF.

De gros progrès ont été enregistrés (et signalés par les missions de suivi et d’évaluation) en matière de préparation d’un CDMT (ou CBMT) et il existe au sein des deux ministères une équipe de fonctionnaires (BEPP, Direction des Affaires Financières – DAF) capables d’élaborer, mettre à jour et communiquer aux unités concernées au sein du ME et du MFPE, et aux partenaires extérieurs au sein de l’exécutif tunisien et des organes législatifs chargés de le voter. Trois facteurs ont permis ces progrès :

La mise en place à partir d’août 2008 d’une unité de Gestion Budgétaire par Objectif (GBO) au sein du ME et du MEFP31 dont l’approche a grandement favorisé la conception et mise en place d’un CDMT (ou CBMT) ;

L’AT32 fournie par les programmes ES (ME) et MANFORM II (MFPE) dans ce domaine qui a été très productive en matière d’appropriation des outils universels d’un PAPS (en outre, la production d’un CDMT/CBMT était en effet nécessaire au 2ème décaissement de tranche fixe).

31

Lors de la séparation en deux Ministères, après la fin du programme ES, des sous-secteurs Éducation et Formation Professionnelle, une unité GBO a heureusement subsisté au sein des deux Ministères

32 Cette AT constitue d’ailleurs un modèle auxquels plusieurs responsables d’unités au sein du ME ont fait référence,

exprimant le souhait que ce « modèle » puisse se généraliser dans tout programme UE futur, PAPS ou pas,

comportant une composante AT.

15

Le CDMT assure un cadrage triennal précis des recettes et dépenses du MFPE et de chacune de ses tutelles. Une unité GBO a été créée au ministère de l’Éducation et de la Formation Professionnelle par le décret n° 2009-1051 du 13 avril 200933. Cette unité GBO permettra d’assurer des objectifs par ligne budgétaire. Cela apportera certainement plus de cohérence et de complémentarité dans les approches, programmes et projets des uns et des autres et réduira l’éparpillement des efforts.

En revanche, la mission considère que, globalement, la modalité PAPS n’a pas réellement contribué à satisfaire les 3 autres critères d’appréciation, soit :

5. L’amélioration des capacités institutionnelles : ce point sera traité plus en détail dans le chapitre sur l’évaluation des performances et de la qualité des « produits » (soit les outputs directs et induits) mais on peut d’ores et déjà souligner que cette insuffisance reflète un manque de vigilance sur les progrès de la « Gouvernance », tant dans le secteur de l’Éducation Secondaire que dans celui de la formation professionnelle34 ;

6. Coordination des bailleurs de fonds

L’adoption de nouvelles pratiques soulignées dans la Déclaration de Paris, notamment l’engagement des PTF à s’aligner sur les procédures nationales et à rechercher un consensus pour les améliorer vers des standards internationaux, oblige naturellement les PTF à harmoniser leur action et à intensifier leur propre concertation. La coordination des bailleurs de fonds n’a pas ici fait les progrès nécessaires. Il est vrai que le rôle de facilitateur et de carrefour des aides que devrait, en particulier, jouer le Ministère Tunisien du Développement et de la Coopération Internationale, n’a pas déployé toutes les initiatives souhaitables à cet effet.

Au ME, l’absence de fait d’une capacité institutionnelle (résultant de la séparation EN et FP en 2009) en matière de coopération internationale a obligé le BEPP à assurer à partir de ses critères techniques de planification cette tentative de coordination (les questions du CBMT, objet de coordination UE-PEFA et de la carte scolaire, objet de coordination entre UE, UNICEF et UNESCO en sont deux confirmations).

Concernant MANFORM II, la réunion de coordination des bailleurs s’est tenue le 14 mai 2009 au CENAFFIF en présence des représentants des principaux partenaires de la formation professionnelle en Tunisie. Elle a permis de clarifier plusieurs aspects de la politique mise en place par le MEFP dans le domaine de la formation professionnelle. Grâce aux efforts des responsables de coopération internationale tant au sein du MFPE que dans les institutions sous tutelle, de nombreux projets de collaboration ont vu le jour tels que le projet de jumelage avec Pôle-Emploi (France) et la coopération suédoise pour l’ONEQ. Cela apportera certainement plus de cohérence et de complémentarité dans les approches, programmes et projets des uns et des autres PTF.

33

Cf. PJ 19-Décret n°2009- 1051 du 13 avril 2009, JORT – 17 avril 2009 n°31

34 Il convient de noter que cette réflexion de la mission n’a pas le même sens qu’elle aurait eu s’il n’était pas survenu

dans la société tunisienne les évènements que l’on sait à partir du 14/01/2011 ; en effet, la gouvernance de

l’ensemble de l’appareil public (action de l’exécutif en particulier) a été soumise depuis à des défis qui vont bien au-delà des conclusions du présent rapport. Il n’en reste pas moins que même si les conditions d’exercice de la gouvernance se sont considérablement « assouplies », certaines règles destinées à pallier les insuffisances constatées et reflétées dans le présent rapport restent de mise.

16 7. Consultation des usagers

Concernant le programme ES, le suivi des performances a bénéficié d’un bon fonctionnement de l’outil statistique géré par le BEPP et a été l’occasion d’une bonne participation des différents niveaux (établissements, Commissaires Régionaux de l’Éducation - CRE et unités aux niveaux centraux) tant à la collecte des données qu’à leur rediffusion annuelle. En revanche, il a été observé que le pilotage du système et en particulier la fonction recherche, soit l’axe 4 de travail du PAPS prévu au titre des DTA35 n’a pas fait l’objet de progrès particuliers pour des raisons liées aux déficiences de la gouvernance : pas de mise en place d’un MIS du Secteur Éducation et, par voie de conséquence et plus grave, pas d’échanges systématiques des données disponibles entre les différentes unités concernées et les partenaires naturels de l’Éducation et de la Formation Professionnelle (le MDCI, l’Emploi, l’ONEQ, l’UTICA, sauf certaines organisations professionnelles très au fait du fonctionnement de la Formation et de l’Education pour des raisons personnelles et historiques). La mission a détaillé dans le chapitre suivant les constatations relatives aux 10 indicateurs qui reflètent également les insuffisances du bénéficiaire du PAPS en matière de gouvernance.

Concernant le programme FP, il manque à MANFORM II un système d’information cohérent pour le suivi des performances du programme en particulier et du système de FP en général. Il existe au ministère des outils statistiques36, mais la gestion des demandes et offres d’emploi souffre de nombreuses déficiences (impossibilité de gérer les offres/demandes d’emplois non satisfaites par exemple, qui nourrissent le lien formation-emploi). La remarque précédente sur le déficit de pilotage vaut également pour la FP notamment dans le cadre d’un système « Emploi - Formation Professionnelle – Emploi ».

3.1.1.2 Visibilité du PAPS

La visibilité de l’aide a été minime, limitée au cercle des hauts responsables des deux ministères et des organisations professionnelles. La mission a constaté qu’à de rares exceptions près (BEPP et DAF), les cadres du ME et du MFPE ignoraient l’existence du programme PAPS et, a fortiori, l’utilisation de la modalité d’aide par ABS37. Dans ces conditions, il était donc difficile d’attendre une appréciation de la part des responsables sur les apports aux programmes de la modalité ABS.

Deux observations intéressantes émanent cependant des entretiens individuels quant aux effets de l’ABS :

L’utilisation du PAPS a facilité l’émergence au sein de la GBO de l’utilisation officielle d’un Cadre de dépenses (ou Budgétaire) à Moyen Terme (CDMT). La conception et la mise à jour de ces CDMT pour tous les sous-secteurs de l’EN ainsi que pour le secteur de la FP a donc été l’occasion d’un dialogue substantiel à propos de budget et d’options stratégiques entre les services de planification du ME (BEPP) et la Direction du Budget. En outre, l’existence d’un « Comité de Pilotage » pour le suivi du « PAPS programme ES » a permis de systématiser ces relations au niveau de la gouvernance des Secteurs puisque le Comité Général chargé du Budget et la DGRE du Ministère des Finances, membres du Comité de Pilotage ont participé de très près à l’élaboration, la mise à jour et la présentation du CBMT pour approbation aux organes exécutifs compétents et au Parlement.

35

L’amélioration du pilotage et le développement de la fonction recherche

36 L’outil statistique privilégié est RXCEL.

37 Les rapports de suivi des programmes ES et MANFORM II, y compris le rapport d’évaluation finale ont été élaborés

avant l’éclatement du MEF. Les cadres du ME et du MFPE actuels, à part les directions spécialisées (CDMT/GBO, Coopération internationale) ont une connaissance de l’ABS via leur formation au CDMT puis au GBO.

17

On peut donc conclure que, sur le niveau Gouvernance (cf. Figure 1), la modalité PAPS a favorisé le tissage de liens structurels et opérationnels entre le ME, le MFPE, le MF et le MDCI (également membre du Comité de Pilotage du CDMT), même si la concertation reste encore limitée aux seuls aspects budgétaires.

En revanche, si les conditions de décaissement des tranches fixes prévues au titre de la CF (DAT) ont été satisfaites sans difficultés particulières, une attention spéciale a été portée par la mission sur les conditions de décaissement des tranches variables. Ces décaissements étaient effectivement liés à la satisfaction des objectifs fixés pour les années N+1 et N+2 au titre des 10 indicateurs de progrès sélectionnés dans la Convention de Financement (DAT) du programme ES. Il est sans doute dommage que l’évolution des conditions institutionnelles du Secteur qui s’est déroulée autour du programme ES n’ait pas pu être prise en compte par les partenaires du programme tels que MDCI, ME, MFPE et DUE, afin d’adapter la formulation des indicateurs sélectionnés, sans les modifier dans leur raison d’être et leur logique,

3.1.2 Cohérence et valeur ajoutée

La cohérence du programme avec les besoins et avec la Déclaration de Paris sur l’efficacité de l’aide au développement qui vise le faire faire et la responsabilisation est indéniable. Ce type d’appui va dans le sens de l’histoire, ce qui est particulièrement vrai pour la Tunisie qui s’est récemment et résolument engagée vers une plus large démocratie.

Il est également cohérent avec les besoins autres que budgétaires en agissant indirectement sur le comportement des acteurs. L’ABS impose des démarches qui amènent à plus d’autonomie et plus de confiance, ce qui, de plus, est aujourd’hui particulièrement opportun.

3.2 Évaluation du programme Enseignement Secondaire

Il s’agit ici d’apprécier les performances et la qualité de l’Enseignement Secondaire résultant du présent programme ES, en présentant l’évaluation de la mission selon les 5 rubriques suivantes : Pertinence, Efficience, Efficacité, Impact et Durabilité (même si les contenus de ces rubriques sont étroitement imbriquées dans la mise en œuvre du programme)

3.2.1 Pertinence du champ, des objectifs et du choix des indicateurs de performance (tranches variables)

La présente mission ayant eu lieu pendant la période de vacances scolaires, il n’a pas été

possible d’observer le fonctionnement d’établissements d’enseignement secondaire (collèges et

lycées) en activités. Toutefois les informations recueillies lors des interviews de responsables,

au niveau central et à Nabeul, lors des débats des groupes de travail et à la lecture de la

documentation et des 4 rapports de suivi/évaluation ont été suffisantes pour étayer l’analyse de

laquelle il ressort les observations suivantes

La formation initiale et la formation continue des acteurs du dispositif et, en particulier

des enseignants et des inspecteurs reste une des questions essentielles pour l’amélioration

18

de la qualité de l’enseignement38. Sur ce point, il est étonnant qu’aucun indicateur de

tranches variables n’ait été choisi et, selon la mission cette situation a impacté négativement

sur la pertinence globale du programme. Cela est d’autant plus surprenant que, au moment

où les DTA ont été préparés, la Loi d’orientation du système éducatif (2002) mettait

fortement l’accent sur cet aspect essentiel du fonctionnement du système éducatif et de

l’enseignement secondaire en particulier. Seul l’indicateur 939a permis de mesurer à l’issue

du programme les améliorations quantitatives en matière de personnel pédagogique

disponible.

La qualité de l’enseignement.

Il apparait par ailleurs, au fil des années de mise en œuvre du programme (2006-2008) et

surtout après la fin du programme (fin 2008 à fin 2010) un net ralentissement des efforts

sur l’amélioration de la qualité40. Selon la mission, trois facteurs peuvent expliquer ce

phénomène :

La faiblesse de la continuité et de la gouvernance dans la conduite du Secteur

Éducation (et du sous-secteur ES) due en grande partie aux changements successifs

de Ministres et d’organigrammes à partir de 2007/2008 ;

La disparition en 2009 de la Direction des Programmes et de la Formation

Continue (qui a tenu un rôle déterminant lors de la préparation de la loi d’orientation

2002 et a assuré, avec la permanence du même Directeur pendant 12 ans, la

continuité de la gestion des ressources humaines).

L’affaiblissement des institutions en charge de la formation continue (garantes

de l’adaptation permanente des pratiques pédagogiques aux changements dans les

profils et les attentes des élèves). Cet affaiblissement résulte en grande partie de la

diminution de cadres stables et préparés aux taches essentielles à la préparation et

révision des référentiels de formation continue (ingénierie pédagogique41, formateurs

de formateurs en particulier) et au rôle quasi exclusif dévolu aux inspecteurs (auprès

des CREFOC régionaux) et à l’ « outsourcing » par appels d’offres auprès des

bureaux d’études privés spécialisés en ingénierie éducative (CENAFFE).

38

Il faut noter que cette opinion a été exprimée non seulement par les responsables directs du ME (BEPP, CENAFFE, CNIPRE) mais aussi par les responsables régionaux rencontrés à Nabeul (CRE, CREFOC) et surtout par les représentants du marché du travail (UTICA et fédérations professionnelles). Ceux-ci ont préconisé plus de rationalité et une prise en compte plus large des facteurs externes aux dispositifs. Ils se sont notamment prononcés 1) pour un travail plus systématique sur la formation des acteurs, 2) contre la création des filières « enseignement technique » associées au « Bac Pro » et 3) pour le développement de larges voies de passage entre Education Nationale et la Formation Professionnelle.

39 « rapport du nombre des encadreurs (conseillers pédagogiques, conseillers chargés d’inspection, inspecteurs et

inspecteurs principaux) (numérateur) rapporté au nombre des nouveaux enseignants affectés à l’enseignement secondaire et au second cycle de l’éducation de base (dénominateur

40 Ces opinions ont été exprimées, même si de manière prudente, par la plupart des responsables rencontrés

41 La mission a observé qu’entre les deux centres chargés de la formation continue à l’Education Nationale

(CENAFFE) et à la Formation professionnelle (CENAFFIF), ce denier est mieux équipé pour la fonction d’ingénierie pédagogique essentielle à la fabrication de référentiels de formation continue

19

L’employabilité

L’objectif spécifique d’amélioration des performances et de la « qualité » du système d’enseignement secondaire est marqué par une autre question essentielle (également applicable au choix des indicateurs discuté dans le chapitre suivant) : « Le programme ES a-t-il contribué à améliorer les perspectives des sortants du système (bacheliers et sortants/exclus) ? ».

Ces perspectives concernent l’employabilité des jeunes sortants. Outre le fait qu’aucun des 10 indicateurs de suivi (tranches variables) ne se réfère à cette question alors qu’elle faisait partie de l’objectif général du programme ES, la mission a observé que les « normes de qualité » de l’enseignement secondaire général font surtout référence à des critères d’efficience interne au dispositif42. L’offre éducative fonctionne alors en « cercle fermé » en ne s’adaptant que partiellement aux évolutions des filières de l’enseignement supérieur43, et ne suivant pas du tout les évolutions et les exigences du marché du travail, ni les opportunités qu’offrent des filières de Formation Professionnelle aux sortants de l’ES. Or cette question s’avère être de plus en plus une question d’une portée sociale croissante et grave.

En effet, la part du taux d’emploi (formel) chez les jeunes de 15 à 29 ans a diminué dans les 5 dernières années parmi les jeunes diplômés de l’ES (bacheliers) alors qu’elle s’est légèrement améliorée chez les diplômés de l’Université

Niveau

Secondaire (1)

Niveau Tertiaire

2005 26.67 55.7

2009 18.24 60.15 (1) En % de la force de travail

Figure 2 : Taux de participation des jeunes 15-29 ans à la force de travail44

En conséquence de ces évolutions, le système administré d’orientation des bacheliers pourrait être modifié, surtout à la lumière des contestations croissantes exprimées par cette population depuis la révolution.

Par ailleurs, il est à noter que les taux de chômage de longue durée (> 24 mois) sont très élevés pour ce niveau scolaire45 :

44 % du total des chômeurs de très longue durée (TLD) pour les bacheliers 54 % du total des chômeurs très longue durée (TLD) pour les sortants du 2ème

cycle de l’ES

NB. Dans le cadre de PEFESE, des comparaisons avec le chômage longue durée des sortants de la FP, à plus forte employabilité, pourraient permettre de relativiser ces chiffres

Note : Même si la finalité de l’enseignement secondaire général n’est pas le marché du travail, il n’en reste pas moins que de nombreux sortants de l’ES (bacheliers ou sortis en

42

Comme par exemple « la progression annuelle du nombre de bacheliers ; la qualité des acquits par les élèves des fondements nécessaires à la poursuite de leurs études dans l’enseignement supérieur » (DTA)

43 Justifiant ainsi la création des 4 filières puis 9 sections (ultérieurement 6) des lycées

44 Source : INS, retranscrit dans un « paper » de la BM (2010)

45 Source : Répartition des DEFM par niveau d’études et délais d’attente - ONEQ (aout 2011)

20

cours de cycle d’études) entrent sur le marché du travail. Les contenus et les modalités de l’enseignement dispensé surtout en 2ème cycle (sections spécialisées) devraient davantage en tenir compte46. Cette remarque pose encore plus sérieusement la question des capacités favorisant l’employabilité acquises par les jeunes sortants de l’enseignement secondaire même si le programme a permis de généraliser l’usage des TIC par les élèves et de moderniser ainsi les méthodes pédagogiques (interactivité)

Il faut citer à ce sujet le texte suivant relatif au système éducatif tunisien 47 (qui peut s’appliquer en totalité au sous-secteur ES) :

« …Le système éducatif ne répond pas aux besoins du marché du travail, ce qui donne lieu simultanément à un sur-approvisionnement de diplômés et à des pénuries de techniciens professionnels. En effet, en 2009, une entreprise sur quatre estime être en situation de déficit d’employés notamment en ce qui concerne les ouvriers qualifiés et les techniciens supérieurs48. Le système d’éducation et de formation est en réalité composé de deux grands segments cloisonnés si on prend en considération l’orientation des flux de réussite scolaire. Ces flux évoluent selon un parcours scolaire unique de l’enseignement de base jusqu’au supérieur avec le risque de plus en plus fort de rencontrer les difficultés d’insertion professionnelle. La formation professionnelle est exclue du parcours de ces flux de réussite. On y accède après l’abandon de l’enseignement scolaire selon un choix individuel par défaut, et on ne peut accéder à l’enseignement supérieur quand on en sort. De ce fait, elle constitue un segment à part dans le système d’éducation et de formation. »

Même si ce jugement peut être nuancé, il n’en reste pas moins qu’il reflète la plupart des conclusions de la mission sur les déficiences rencontrées dans la conception et la mise en œuvre du programme.

3.2.2 Efficience

Le programme ES a été mis en œuvre de manière efficiente puisque la quasi totalité des fonds alloués par la CF ont été décaissés et intégrés dans les budgets annuels du MEN. Ceci a été rendu possible en grande partie par les caractéristiques propres à la modalité ABS d’aide au développement, mais il faut noter que la fongibilité propre à cette modalité n’a pas permis la transparence nécessaire sur l’utilisation de ces fonds additionnels (même si l’on peut estimer, avec le Directeur du Budget du MEN qu’ils ont été affectés au Titre II des budgets annuels). Les coûts de transaction en ont donc été réduits d’autant, ce qui a contribué à la qualité d’efficience du programme. (Voir Annexe 7 : Budget et CDMT de l’Enseignement Secondaire).

Cependant, la mission a noté quelques paramètres qui ont contribué à limiter l’efficience du programme, en particulier :

- Un certain manque de souplesse, de visibilité et de transparence dans la gestion financière du programme ES (cf. ci-dessus) ;

- Certains malentendus sur l’’interprétation de l’indicateur 6 pour les décaissements (voir ci-après) ;

46

Cette observation pose la question de la diversification de l’offre éducative à ce niveau (carrefour de l’Education Nationale, de l’Enseignement Supérieur et du Marché de l’Emploi) et en particulier des

47 Source : Processus de Turin d’auto-évaluation des systèmes et politiques d’enseignement et de formation

professionnels (EFP) en Tunisie – UE/ETF (décembre 2010)

48 MDCI, ITCEQ, Rapport annuel sur la compétitivité 2008, octobre 2009, p52

21 - Les insuffisances de gouvernance déjà signalées49 ont certainement limité l’efficience dans

l’exécution du programme

Note : Une plus grande présence d’assistance technique (résidente) à l’instar de ce qui s’est passé avec les travaux sur le CDMT aurait peut-être permis d’assurer plus d’efficience. Pour l’avenir, il pourrait être donc envisagé d’associer les modalités ABS et Projet, en programmant des études sur les mécanismes de professionnalisation des professeurs de l’enseignement secondaire (PES) afin de mieux les préparer avant l’entrée dans le métier et d’assurer une foemation continue adéquate.

- La diffusion de l’ABS au niveau régional a été aussi une source d’inefficience par manque de communication et d’implication des autorités régionales.

3.2.3 Efficacité du programme

Dans un projet ABS, l’efficacité est mesurée par l’atteinte des indicateurs choisis au niveau de la Convention de Financement (DTA).

Les indicateurs de performance sont donc listés de 1 à 10, dans ce chapitre avec leurs définitions respectives tirées de la DTA. Un commentaire a été ajouté pour chacun, extrait des rapports de suivi-évaluation de ce programme. D’une manière générale, la mission peut présenter auparavant les observations suivantes:

L’objectif général du Programme ES50 et ses objectifs spécifiques51 présentent un certain déséquilibre. Autant l’objectif général présente une vision équilibrée des ambitions du programme en matière à la fois d’amélioration de l’efficience interne de l’ES (performances) et de sa réponse aux demandes socio-économiques de la société (employabilité des sortants), autant les 5 objectifs spécifiques traitent essentiellement de mesures d’amélioration de l’efficience interne *du programme (surtout O1, O3 et O5) les deux autres objectifs O2 & O4 traitant de questions d’amélioration de la gouvernance et aucun d’entre eux ne visant ou traitant de questions visant à répondre aux questions d’employabilité.

Le fait qu’au moment de l’identification et du déroulement du programme, les deux sous-secteurs (ES et FP) étaient réunis au sein du même Ministère auraient dû militer pour, soit un programme sectoriel unique (ES+FP), soit une plus étroite coordination entre les deux programmes avec, par exemple, des objectifs spécifiques communs, ou des formules de « passerelles », voire de « voies à grande circulation » entre les deux sous-secteurs en étroite concertation avec les représentants du secteur économique (UTICA, fédérations professionnelles, ADEFI, etc.)

En ce qui concerne les indicateurs, les 4 rapports de suivi ont (très bien) suivi et tenu à jour l’évolution des 10 indicateurs et il n’est pas nécessaire de reprendre leurs conclusions et recommandations successives ; le présent rapport souhaiterait cependant porter sur chacun

49

cf. § 3.2.1

50 L’objectif général de l’appui est d’améliorer les performances de l’enseignement secondaire au regard des

normes internationales et d’accroître la contribution de l’enseignement secondaire à l’employabilité des jeunes par la possibilité d’accès à des filières préparant à l’enseignement supérieur et/ou au marché de l’emploi.

51 Les objectifs spécifiques sont (1) d’améliorer la formation initiale et continue des enseignants; (2) de mettre en

œuvre les nouvelles filières proposées dès la deuxième année de l’enseignement secondaire ; (3) d’améliorer la qualité de la vie scolaire ; (4) de soutenir la consolidation des démarches visant à responsabiliser les acteurs du système au niveau décentralisé; (5) de généraliser l’initiation aux technologies de l’information et de la communication (TIC).

22

d’entre eux une brève appréciation sur leur pertinence et leur signification en fonction des résultats attendus ainsi que des niveaux de gouvernance et d’organisation:

Indicateur 1 : Équité territoriale au niveau de l’implantation des filières

Plus qu’une équité basée sur l’ouverture effective de filières, la vraie question, en termes d’outputs induits reste celle des opportunités d’évolution des jeunes accédant à l’enseignement secondaire, donc de pertinence des filières et surtout des sections les subdivisant à partir de la 3ème année. Une étude de suivi (« tracer study ») d’un échantillon des sortants du niveau secondaire (bacheliers ou sortants e 3ème ou 4ème années) aurait été opportune afin de déterminer leur évolution (tertiaire, emploi, formation professionnelle), en fonction de leurs régions de résidence et conclure ainsi sur la pertinence des filières (et sections) en fonction des spécificités territoriales. Dans tout nouveau programme d’aide de la DUE au secteur cette question pourrait être traitée, par exemple en y consacrant un input d’Assistance Technique. Indicateur 2 : Pourcentage des établissements avec les sections économie et services, commerce et affaires, informatique et multimédia et informatique industrielle (en 3ème année) équipées et encadrées

Le programme n’a pas atteint les résultats visés selon les TdRs, pour la simple raison que

seulement 6 sections (au lieu des 9 prévues aux TdRs) ont été finalement créées dans 41.4%

des lycées publics, même si ce chiffre est supérieur au niveau visé aux TdRs (>40%). Plusieurs

notes préparées par le BEPP ont été adressées à la DUE pour justifier de ce choix mais sans

succès, la dernière (février 2008) faisant état d’un important changement de politique

sectorielle : il y était effectivement annoncé la création à partir de l’année scolaire 2007/2008 de

filières d’enseignement technique à partir de la 7ème année de l’enseignement de base et d’un

Baccalauréat Professionnel (« Bac Pro ») à partir de la rentrée 2010-2011. L’argument valable

développé par le BEPP était que « …les filières créées dans le cadre du Bac Pro viendront

s’ajouter aux 6 filières actuellement disponibles, ce choix devant s’élargir au cours des années à

venir en fonction de l’évolution des métiers et des besoins de l’économie tunisienne»52 . Cet

épisode dans le suivi et l’appréciation annuelle des progrès des indicateurs pour le

décaissement des tranches variables confirme que la problématique de l’organisation et la

gestion du niveau secondaire est d’une grande importance pour la gouvernance du secteur

Éducation. Le suivi par les autorités tunisiennes devrait donc être dans l’avenir appuyé par des

études telles celle signalée à propos de l’indicateur 1 et mériterait pour cela une assistance

technique ad hoc sur les aspects institutionnels dans le cadre des futurs programmes ABS

(PEFESE en particulier).

Indicateur 3 : Taux d’achèvement du cycle du secondaire d’une cohorte d’élèves avec succès (les 4 années du cycle y compris le bac)

Il s’agit d’un indicateur classique dans la planification de l’enseignement secondaire pour lequel

les statistiques produites par le ME (BEPP) ont fourni les éléments de qualité nécessaires.

52

Note explicative sur la diversification des filières de l’Enseignement Secondaire – Ministère de l’Education et de la Formation, Secrétariat Général – BEPP, décembre 2008

23 Indicateur 4 : Ratios élèves 1ère et 2ème année/CIOSU

Même si le niveau visé a été à peu près atteint (2216 au lieu de 2300) en fin de programme, il

est certain que la fonction de conseiller en information et orientation est vitale dans les

perspectives évoquées ci-dessus d’articulation des sortants du secondaire par rapport à leurs

orientations possibles (continuer vers le tertiaire, aller en Formation Professionnelle ou essayer

d’entrer sur le marché de l’emploi). Des efforts devront donc être faits dans ce sens par les

autorités de gestion du Secteur Éducation.

Indicateur 5 : Pourcentage d’orientation 1ère année

Cet indicateur a permis d’apprécier les capacités du système pour orienter les élèves entre le tronc commun de 1ère année et les 4 filières de 2ème année. Selon les résultats ces capacités sont satisfaisantes puisqu’ils répondent apparemment aux souhaits des élèves et de leurs familles. Ceci dit, à notre avis le véritable problème se situe après la 2ème année (entrée dans les sections) puisque c’est là que doivent être traitées les questions des relevances des 6 sections actuelles avec les opportunités qui vont être offertes aux élèves à leur sortie (diplômés ou non) de l’enseignement secondaire. Tout programme nouveau devra donc traiter cette question, de préférence avec une AT appropriée. Indicateur 6 : Pourcentage de chefs d’établissement recrutés sur profil de compétences

La question sous-jacente à la mesure de cet indicateur , selon tous les entretiens que la mission a eus auprès des cadres du Ministère (Centrale et Gouvernorat), est celle des critères véritablement utilisés par les autorités d’inspection compétentes pour sélectionner les « nouveaux » chefs d’établissement. Même si un référentiel de compétences relativement innovant a été développé en 200853, il n’en subsiste pas moins une certaine ambigüité puisque l’adéquation des candidats à ces nouveaux profils de compétences ne sera appréciée – par le chef actuel d’établissement puis par le CRE lors des entretiens de recrutement – que sur la base des notes pédagogique et administrative obtenues par le candidat en tant qu’enseignant. Ceci n’est pas cohérent avec les nouveaux référentiels de compétences exigés pour ces nouveaux postes (capacités de gestion, d’innovation, de conduite d’un « projet d’établissement, etc.). Il faut en outre signaler que la présentation des candidatures est en ce moment, compte tenu du calendrier électoral, un véritable enjeu politique. De l’avis de la mission, une remise à plat de cette question, véritable « initiative de gouvernance » pour les autorités du secteur s’impose donc et la DUE devra insister sur ce point lors des discussions sur les nouveaux programmes d’aide (PEFESE en particulier). Indicateur 7 : Pourcentage de DRE avec projet scolaire

Le décret créant les DREF, et donc la possibilité d’élaborer des projets scolaires est intervenu en cours d’exécution du programme ce qui, selon la mission a introduit une certaine ambigüité sur sa signification et sa pertinence dans le programme. Par contre, la mission considère que le concept de projet scolaire a une certaine importance pour l’intégration des établissements dans le contexte social et économique et donc faciliter la connaissance de ce contexte par les élèves. La mission considère donc - et elle partage cette opinion avec le S/Directeur à la vie scolaire auprès de la DG au cycle préparatoire et à l’enseignement secondaire, le DG du CNIPRE et un

53

Avec instructions adressées en février 2008 aux Directeurs régionaux et aux CRE pour le recrutement des directeurs, l’approbation du profil de compétences par le Ministre n’intervenant qu’en juin 2008.

24 Commissaire Régional à l’Education (CRE de Nabeul) - que le travail doit continuer sur ces projets scolaires et pourrait d’ailleurs faire l’objet de jumelages du ME en Tunisie avec ses homologues dans des pays assez avancés sur cette question (Indonésie, Mexique, Tanzanie par exemple).

Indicateur 8 : Pourcentage d’élèves exclus de leur lycée après un conseil de discipline Cet indicateur reflète quasi exclusivement l’efficience du fonctionnement interne de l’enseignement secondaire et les normes et pratiques de référence en matière de discipline L’amélioration constatée sur cet indicateur à l’issue du programme, permet cependant, selon le responsable de la vie scolaire dans l’enseignement secondaire, d’envisager l’avenir avec plus d’optimisme, surtout après le vent de « liberté » qu’a fait souffler la révolution dans la perception de « l’école » par les élèves…

Indicateur 9 : Ratio nouveaux enseignants/ encadreurs

La situation reflétée par cet indicateur a une certaine importance compte tenu de l’importance

que la mission lui attribue. Le rôle des « encadreurs » (conseillers pédagogiques et inspecteurs)

est appelé à jouer en effet un rôle très important dans toute entreprise de réforme de

l’enseignement secondaire, réformes orientées surtout vers l’impact visé en matière de réussite

soit au niveau tertiaire (en cas de continuation dans l’enseignement général) soit sur le marché

de l’emploi (en cas d’entrée directe après le bac - ou après un passage par la FP - sur le

marché).

Indicateur10 : Enseignement TIC obligatoire en 3ème et 4ème année

La large satisfaction de cet indicateur reflète la vocation de la Tunisie pour l’informatique.

Cependant la véritable question est la manière dont les enseignants (et les encadreurs) seront

formés aux méthodes pédagogiques pour l’apprentissage des TIC. Il apparait ici certaines

insuffisances dans la maîtrise des pratiques pédagogiques. Cependant, l’introduction des TIC

dans les méthodes pédagogiques, appuyée par le programme comme signalé plus haut, même

si elle est encore imparfaite constitue un plus pour les sortants précoces du système scolaire.

3.2.4 Impact

Au jour d’aujourd’hui les indicateurs d’impact sont peu renseignés.

- Tout d’abord, peu de temps s’est écoulé depuis la fin du programme (un peu plus de 2 ans) et il est bien connu parmi les spécialistes en planification de l’éducation que l’impact de réformes éducatives ne peut être « mesuré » qu’en comparant les performances de 2 cohortes (à N et N+2 par exemple) observées sur l’ensemble des années de l’ES (4 ans) de manière à apprécier les améliorations (ou déficiences) de la cohorte à N+2 comparées à celles de la cohorte à N.

- Par ailleurs, les transformations administratives successives (séparation de la FP et de l’EN, création des « Commissaires Régionaux », disparition de certaines unités, etc.) survenues depuis la fin du programme ont compliqué la « visibilité » du panorama de l’éducation et de la FP, sur lequel l’impact du programme ES pourrait s’observer.

Cependant, on peut considérer que des prémisses d’impact ont commencé à se dessiner à l’issue du programme et pourraient donc contribuer à concrétiser à moyen terme un véritable impact sur la gestion du système et sur la qualité des enseignements impartis. Il s’agit essentiellement de l’ouverture des systèmes de gouvernance régionale (rôle des

25 Commissariats), de l’amélioration des systèmes de gestion des dépenses (grâce aux outils CDMT et GBO) et de l’adoption, même encore insuffisante du système diversifié des filières.

La mission a donc pensé plus utile de faire un peu de prospective et de se pencher davantage sur les questions de durabilité du programme (voir paragraphe suivant).

3.2.5 Durabilité

La question qui apparait essentielle pour assurer la durabilité du programme ES est le rôle joué dans sa gestion et son exécution par les organes de Gouvernance. Les questions de gouvernance et de son apport (ou de ses contraintes) au programme ont été abordées à plusieurs reprises au cours de la présente mission. De plus, elles ont été maintes fois traitées par les autorités54 du ME (ainsi que par les interlocuteurs de la mission au MFPE, la FP occupant une place importante lorsque les deux Ministères étaient fusionnés-voir chapitre 3.3).

Les interrogations à ce sujet relèvent de trois thématiques dont la mission souhaite souligner l’importance pour assurer la durabilité :

Politique et stratégie éducative : cohérence et continuité dans les processus et

pratiques de décisions gouvernementales dans ce secteur

Pendant la période d’exécution du programme ES le Ministère de tutelle avait sous sa

responsabilité l’Éducation Nationale et la Formation Professionnelle : ceci aurait dû être un

facteur de coordination et d’intégration entre ces deux sous-secteurs si étroitement

imbriqués face à la société. Il semble pourtant que l’accent a été mis quasi exclusivement

sur les inputs (et les composants associés) au Secteur Éducation Nationale et au sous-

secteur Enseignement Secondaire sans y associer le sous-secteur Formation

Professionnelle55.

Pendant la période post-programme, de nombreux changements dans la direction du

Ministère sont intervenus, surtout après la scission du Ministère en deux Ministères

distincts. Ces changements, de nature politique n’ont pas contribué à stabiliser et améliorer

la gouvernance du sous-secteur (et du Secteur Éducation en général). Ils se sont traduits

par des changements successifs de Ministre (4 en tout depuis le début du programme) et à

des organigrammes successifs (2006, 2008 puis 2009) le dernier résultant en particulier

dans la suppression de la DG des Programmes et de la Formation Continue, unité ayant

joué un rôle essentiel dans de nombreuses initiatives prises pavant et pendant l’exécution

du programme ES (entre autres). Ceci dit, même pendant la « cohabitation » des deux

sous-systèmes, le fait qu’ ils répondaient à des structures de décision différentes a

déstabilisé le fonctionnement des directions régionales de l’éducation et de la formation et

le rôle des inspecteurs.

Rôle stratégique de la fonction Planification éducative au sein du Ministère :

54

Il s’agit, entre autres, des personnalités suivantes : Directeur du BEPP, Commissaire Régional de Nabeul, DG du CNIPRE, du CENAFFE, du CREFOC de Nabeul, S/Directeur à la vie scolaire auprès de la DG au cycle préparatoire et à l’enseignement secondaire, S/Directeur à la Direction Générale de l’Évaluation et la Qualité, etc.

55 Même si le programme PAPS MANFORM II a été lancé en parallèle et quasiment au même moment

26 Le suivi et le contrôle à long terme des flux scolaires – à l’intérieur et à la sortie de

l’enseignement secondaire – ont bénéficié, grâce à la permanence du BEPP dans la

préparation, la mise en œuvre et l’exécution du programme ES, de continuité et de stabilité, ce

qui a été essentiel dans la réussite certaine du programme ES.

Cependant, un élargissement des responsabilités du BEPP à des questions touchant à la

coordination des unités chargées de la mise en œuvre des politiques éducatives et à la

concertation avec le MDCI, la DUE et autres bailleurs de fonds intervenant sur l’Education,

serait certainement approprié dans tout nouveau programme (PAPS ou pas) d’aide à la

meilleure adéquation de l’offre scolaire aux besoins du marché de l’emploi.

La planification budgétaire par objectifs, qui s’est traduite par la création, en cours de vie du

programme ES, d’une unité GBO et la mise au point dans ce cadre d’un CBMT est un corollaire

de ce qui précède, et le BEPP devra certainement continuer à jouer (en l’amplifiant) le rôle qu’il

a joué si positivement dans ce domaine pour l’exécution efficace du programme ES ;

Rôle de la décentralisation

La décentralisation effective de la gestion éducative (pédagogique mais surtout

administrative et budgétaire) qui était l’un des 5 objectifs spécifiques du programme ES n’a pas

suffisamment fonctionné au cours de son exécution: en effet, les indicateurs 1 et 7 qui traitent

certains aspects de cette question n’ont pas été satisfaits. Cependant, le MEN devrait lui

accorder une attention accrue, surtout dans le nouveau contexte sociopolitique créé à partir de

janvier 2011, pour assurer la durabilité des réformes entreprises. Cette composante devra être

prise en compte en priorité dans le nouveau programme PEFESE.

3.3 Le programme MANFORM II

Il vise des objectifs qui sont clairement définis dans les DTA. 56

3.3.1 Pertinence

56

Objectif global : Contribuer à la mise en œuvre de la réforme engagée par le MEFP dans le contexte du XIème

Plan de développement du pays (2007-2011), notamment de gagner le pari de la qualité dans le dispositif de formation professionnelle publique et privé afin de répondre aux besoins de l’entreprise et de s’adapter aux changements technologiques dans une volonté continue de réactivité et de complémentarité avec les dispositifs de l’éducation et de l’enseignement supérieur.

Objectif spécifique : Contribuer

- à la Promotion de la formation professionnelle pour en faire une voie de réussite - à la Poursuite de la mise à niveau du système de formation professionnelle - au Développement de l’efficience du dispositif de formation la professionnelle.

27 La pertinence de MANFORM II se manifeste en premier lieu par l’orientation donnée au système de formation de s’organiser (filières et programmes) pour satisfaire aux besoins en qualifications des acteurs et des secteurs économiques. Cette stratégie de réponse à la demande a été effectivement initiée par l’identification des besoins des entreprises en compétences dans le contexte de la réforme MANFORME. C’est dans cet esprit que le partenariat doit encore se renforcer, en premier lieu entre les branches professionnelles et les entreprises.

La pertinence n’est cependant pas aussi complète que procurerait à l’ensemble du dispositif une vision systémique qui actuellement fait défaut. Promouvoir un système qui réponde à la demande passe également par la pédagogie, les modalités d’évaluation, le suivi, le développement de la formation continue, l’élargissement du partenariat, un management plus libéral, des mécanismes de financements incluant davantage la contribution des acteurs économiques, une déconcentration et un travail de proximité, etc.

3.3.2 Efficience

Le programme MANFORM II est efficient dans la mesure où 29,3 millions d’Euros ont été dépensés avec succès dans un laps de temps relativement court. Il est clair que l’instrument ABS a joué pleinement son rôle de fongibilité des fonds dans le trésor public réduisant d’autant le temps passé à l’approbation financière de chaque activité dans l’approche projet.

Cependant des sources d’inefficience prévalent dans :

- La gestion administrative et financière propre à l’instrument ABS ;

- L’interprétation de certains indicateurs pour les décaissements (2 n’ont pas été validés et 3 ont été sujets à discussion) impliquant des échanges de courrier abondants,

- Des missions de suivi-évaluation répétitives pour valider tel ou tel indicateur.

Une assistance technique permanente (un seul expert), doublée d’une évaluation formelle internationale à la fin de chaque année ou à mi-parcours pour valider les indicateurs atteints pendant l’année aurait globalement assuré plus d’efficience

Le manque de communication au sein des structures du MFPE, et notamment en direction des institutions régionales et des établissements, a privé quantité d’acteurs essentiels au dispositif de la connaissance de l’ABS et ainsi privé le système de leur implication, affaiblissant d’autant l’efficience de l’opération.

Un mixage Approche ABS / Projet nous paraît la forme la plus idoine pour renforcer l’efficience.

3.3.3 Efficacité

Dans un projet ABS, les décaissements sont dictés par l’atteinte des indicateurs eux-mêmes définis en fonction des axes stratégiques et des objectifs.

On trouvera en Annexe 8 un tableau figurant les liens entre les axes de la réforme et les indicateurs considérés.

Les indicateurs de performance sont ainsi listés de 1 à 10 avec leurs définitions et leurs sources de vérification respectives tirées de la DTA. Un commentaire a été ajouté pour chacun, extrait des rapports de suivi-évaluation relatifs à la 1ère et la 2ème tranche.

Ces indicateurs ont été élaborés en mixant les indicateurs de type SMART plutôt quantitatifs et les indicateurs de type SPICED plutôt qualitatifs. En fait tous ces indicateurs sont des

28 indicateurs dits de processus exigeant la durée du projet pour les atteindre moyennant des rapports d’institutions internes au ministère comme l’ATFP ou le CNCFPP ou externes comme l’INNORPI certifiant les entreprises à la norme ISO 9001.

De plus, on observe une faible utilisation d’indicateurs de résultats : en aucun cas les indicateurs mentionnés dans les prévisions ne sont déclinés par zone géographique ou groupe spécifique de bénéficiaires, ou genre.

Huit indicateurs sur 10 ont été validés par les missions de suivi et ont donc entrainé les décaissements prévus des tranches variables correspondantes. Seuls les IOR1 et IOR7 n’ont pas été validés.

Les conditionnalités de décaissement

Elles sont liées :

• à la poursuite de la mise en œuvre de la stratégie du GT dans le secteur de la formation professionnelle,

• à la consolidation des structures en charge de la mise en œuvre de la stratégie sectorielle et du CDMT sectoriel ;

• à la réunion annuelle de coordination des bailleurs de fonds ; • à la mise en œuvre d'un observatoire national des compétences et des métiers et

instauration de conseils d'établissement dans les centres gérés par l'ATFP; • au taux de formation avec l'entreprise (cibles) ; • à la promotion des actions de formation continue (cibles) ; • à la formation et au recyclage systématique des formateurs (cibles) ; • à la formation et mise en place d'un corps d'inspecteurs pédagogiques spécialisé en matière

de FP (cibles) ; • à l’élaboration, validation et mise en place d'un cadre de reconnaissance des diplômes du

système d'apprentissage.

Les indicateurs non validés

Indicateur 1 : La mise en œuvre du processus menant à la constitution d'un observatoire des compétences et des métiers innovants.

L’IOV 1 part d’une bonne idée : la création d’un « observatoire national des qualifications et des métiers innovants » (OCMI)… afin d’assurer la correspondance, au plus près, entre les besoins quantitatifs et qualitatifs en compétences des entreprises et la réponse en termes de formation aux niveaux régional et sectoriel ». Il s’agit d’un indicateur de processus et non de performances qui exige une série d’étapes pour parvenir à sa création opérationnelle. L’indicateur a été déclaré non atteint parce qu’il n’était guère possible de le créer dans le temps imparti d’autant plus que le projet a duré réellement deux ans et non trois. En revanche les activités visant à sa création ont été nombreuses jusqu’à la parution d’un arrêté57 n’ont pas été payées de retour, Comme la notion de sous-tranches n’existe pas et que les tranches variables ont une valeur maximale prédéfinie dans l’accord de financement, le montant décaissé en tout ou partie serait 57 Mentionné à l’article 54 dans la Loi n° 2008-10 du 11 février 2008 de relative à la formation professionnelle avec

projet de décret Budgets 2008,, 2009. Le rapport d’évaluation de juillet 2009 novembre observait qu’ « un Groupe d'étude et de recherche pour l'observation des compétences a été créé au sein du MEF par Arrêté ministériel du 06/05/2008 et a été chargé d'exercer ses missions "jusqu'à la création de l'observatoire national des compétences et des métiers innovants".

29 fonction des performances réalisées par rapport à des critères et des indicateurs de performance particuliers.

Par ailleurs, la création de cet observatoire relevait du ministère de l’éducation et de la formation en 2007, inspiré par celui de l’ONEQ relevant du ministère de l’Emploi d’alors, Entretemps, formation et emploi faisant à nouveau partie du même ministère, le MFPE, la création d’un 2ème observatoire perdait de son sens. Il est prévu que l’ONEQ l’intègre dans son dispositif avec l’appui d’autres partenaires58. Un renforcement de l’ONEQ est prévu en ce sens en termes de personnels et de matériels informatiques pour les enquêtes de terrain pour préparer les répertoires des métiers avec les fédérations patronales et syndicales. Toutefois la composante « métiers innovants » ne sera traitée que si un outil de veille technologique voit le jour. Le lien avec le futur PEFESE doit être assuré même si l’ONEQ ne couvre pas tous les aspects du marché du travail, notamment les branches en tension. Pour un rapprochement de la formation-emploi, l’ONEQ devrait contribuer à renforcer le lien via l’élaboration d’indicateurs de la formation professionnelle. [Voir à ce sujet l’Annexe 9 : Tableau de bord du dispositif d’observation de la FP et de l’Emploi].

Indicateur 7 : Mise en place de nouvelles capacités d'inspection pédagogique

L’IOV 7 pointait la mise en place de nouvelles capacités d'inspection pédagogique. Il a été déclaré non satisfait en dépit de textes de nomination des inspecteurs et du Rapport annuel de l'inspection. Il s’est agi d’un long processus d’ordre juridique59, puis organisationnel60. Le programme de formation que les 14 candidats admis, des enseignants en fonction, ont été appelés à suivre a été retardé de sorte que le corps d’inspecteurs pédagogiques de formation professionnelle n’a pas pu être opérationnel et donc n’a pu disposer d’un rapport d’activité. L’indicateur a été non validé alors qu’il aurait pu l’être si le programme avait duré jusqu’à fin 2009 comme prévu. Le corps d’inspecteurs a été opérationnel à la rentrée 2009-2010. Il a été depuis renforcé par le recrutement de 10 inspecteurs dont l'affectation dans les régions a été faite en Avril 2011.

Les indicateurs validés par les missions de suivi-évaluation :

Indicateur 2 : La définition de la demande spécifique des secteurs économiques en qualifications par la réalisation de portraits de secteurs.

Selon la CF : au minimum 4 en 2007 (TIC, cuir, textile, habillement, tourisme); en 2008 : 4 nouveaux portraits engagés; en 2009 : 5 nouveaux portraits engagés et les 4 de 2008 validés. Dans le strict cadre de MANFORM II: 4 portraits réalisés et validés par l'UTICA et les branches professionnelles à savoir: BTP & matériaux de construction; construction métallique & soudure; Services; agroalimentaire. Un 5ème portrait, Agriculture, a été validé après juin 2009.

Les portraits de secteurs élaborés par le CENAFFIF ont pour finalité d'éclairer la dynamique d'un secteur de formation, de décrire les emplois pouvant exiger une formation professionnelle

58

Volet voisinage : Projet de jumelage de 30 mois avec pôle-emploi (France) ainsi qu’avec un partenaire suédois.

59 Le décret n°2007-3070 du 27 novembre 2007 a fixé le statut particulier du corps de l’inspection pédagogique de la

Formation Professionnelle du MEF suivi de deux arrêtés d’application émis par le MEF le 21 mai 2008 relatif à l’organisation du concours de recrutement d’inspecteurs pédagogiques de formation professionnelle dans la limite de 36 postes.

60 La circulaire du MEF du 28 mai 2008 officialise l’ouverture du concours de 24 candidats qui s’est déroulé le 30 août

2008 dont 14 ont été admis.

30 et d'analyser les programmes de formation en vue d'identifier les déséquilibres qualitatifs et quantitatifs entre les besoins du marché du travail et l'offre de formation. De ce fait, ces portraits se situe en tant qu'outil de gestion des programmes et se positionne en amont du processus d'ingénierie de la formation. Les portraits de secteurs sont des référentiels pour modifier les programmes, créer ou supprimer des filières en fonction des besoins anticipés des entreprises. Il s’agit évidemment d’un processus continu de remise à jour annuelle. Lors d’une réunion au CENAFFIF, il a été question de pouvoir s’appuyer sur une commission officielle de validation formée par le ministère technique, des entreprises pilotes et les fédérations concernées dans le droit fil de la politique sectorielle du gouvernement.

Effet d’aubaine, l’impact de l’ABS n’est guère signifiant vu que ces portraits de secteur auraient été réalisés de toute manière.

Indicateur 3 : La confirmation d'un partenariat effectif avec les entreprises.

L’indicateur est renseigné par l’évolution du nombre de Conseils d'établissements (CE) installés et effectifs.

Ces conseils ont pour but de renforcer le rôle des professionnels dans le pilotage du dispositif et le partenariat entre les CFP et les entreprises. L'évolution du nombre des CE (73 en 2008 par rapport à la cible de 35, 106 en 2009, 113 cumulés en 2010) relevant de l'ATFP témoigne d'une étroite collaboration entre les CE et leurs partenaires immédiats. 53 conseils ont organisé 69 réunions au cours de l'année 201061.

Des Conseils pédagogiques ont été également organisés par l’ATFP qui ont traité principalement de :

- l'organisation de la formation initiale - la validation des emplois du temps - la validation de plannings de stage en entreprises - les activités relatives aux préparatifs des sessions de formation - l’organisation pédagogique des centres - le suivi des apprenants en entreprises.

L’activation effective des CE est assez variable tant en termes quantitatifs que qualitatifs. En effet, le CE est une institution qui se tient régulièrement dans certains centres et une tradition commence à s’y établir. Dans d’autres, la périodicité des réunions n’est pas respectée et la tenue de ce conseil est souvent perçue comme une formalité. D’autre part, la lecture des procès-verbaux des CE montre une grande diversité de consistance et d’implication effective du CE en termes de consolidation du partenariat entre le centre et son environnement économique.

Il est donc difficile d’évaluer l’efficacité réelle de ces conseils, lieux d’échange d’information et de formulation d’hypothèses de travail plutôt que d’action : il semble que leur rôle reste encore timide et peu effectif.

Par ailleurs, ramener la qualité et l’effectivité du partenariat « acteurs économiques - opérateurs de formation » au seul fonctionnement des conseils d’établissement est très réducteur. Ce partenariat dont l’existence est le premier critère qualité d’un système de formation devrait s’exprimer, pour être efficace, sur l’ensemble des éléments du système. Ainsi devrait-on retrouver ce partenariat, avec l’implication forte des milieux économiques, au niveau de la gouvernance et du management du système, aux niveaux de l’identification des besoins (aux plans macro et micro-économiques), au niveau de l’élaboration des programmes ou des plans de formation, du financement de la formation, du développement de la formation continue, de la réalisation de la formation, de la gestion des ressources, de l’évaluation des résultats et des

61

Selon rapport de l’ATFP

31 effets de la formation, de la mise en place des mécanismes d’aide à l’insertion, du suivi des formés. [Voir Annexe 10 : Critères qualité du système de formation].

Indicateur 4 : Un taux de formation avec l'entreprise62 qui se maintient à au moins 70% des effectifs

La formation avec l’entreprise constitue un principe de base de la formation professionnelle. Ce mode de formation initié dans le cadre de MANFORME I a connu certaines difficultés d’implémentation durant les premières années de la réforme. Durant les cinq dernières années, on a assisté à un développement remarquable de la formation avec l’entreprise qui devient le mode de formation prépondérant dans les différents centres de formation.

À fin 2008, l’effectif total des apprenants dans les centres de formation relevant de l’ATFP a atteint près de 102 900, dont 24 636 en apprentissage dans les entreprises. L’effectif en formation en entreprise a atteint 68 778 apprenants, soit un taux de formation en entreprise de 87,9 % (compte non tenu des effectifs en apprentissage) dépassant le seuil de 70% arrêté par la stratégie sectorielle.

Selon un rapport récent de l'ATFP (voir Annexe 11 : Rapport 2010), l’effectif total des formés enregistré fin décembre 2010 a atteint 110557 (ATFP, tableau ci-après). L’indicateur IOR4 pour 2010 est égal à :

- 71,7% (en effectif normalisé, compte non tenu des effectifs en apprentissage)

- 93,9% (compte tenu des effectifs en apprentissage).

L’IOV 4 est donc validé une année après la fin du programme, au moins quantitativement.

En démarche qualité cet indicateur est insuffisant

- Aucune information sur le taux d’insertion de ces stagiaires /alternance ou apprentissage dans ces entreprises formatrices, a fortiori dans les autres

- Aucune évaluation sur la qualité de la tutelle en apprentissage, ni sur ce que pensent les employeurs de la formation acquise dans les centres.

Niveau Mode de formation

Total Résidentiel Alternance Apprentissage

Formation normalisée

CAP 1414 22182 6261 29857

BTP 1291 26620 175 28086

BTS 2107 10023 12130

CFP 307 160 467

CFA(F4) & CC 1629 2009 11887 15525

Total des formés en formation normalisée

6748 60994 18323 86065

Total : Apprentissage en entreprise 24492 24492

Total général 6748 60994 42815 110557

62

Nombre des effectifs en formation - alternance et apprentissage - divisé par l'effectif total en formation

32

Indicateur 5 : Le développement des actions de formation continue établies en partenariat avec les branches professionnelles et financées par le PRONAFOC.

Parmi ces actions de formation continue, entendu comme étant le nombre de participations en FPC financées par le PRONAFOC rapporté au nombre total de participations, 20% ont été délivrées en 2006, au moins 30% le seront en 2007, au moins 40% en 2008 et au moins 50% en 2009. Les sources de vérification de cet indicateur sont les rapports établis en ce sens par le CNCFPP dont se sont servies les missions de suivi-évaluation. Les indications proposées par la CF sont peu claires car les pourcentages représentent-ils uniquement des participations ? Des montants agréés, ou encore les entreprises concernées ? Ou les trois comme indicateur composite ? C’est ce dernier indicateur que la mission de suivi et d’évaluation 2009 a utilisé pour valider l’indicateur. En bref, il est difficile de dégager ce qu’a apporté l’ABS dans l’effort de formation des entreprises sachant que la TFP profite largement plus aux grandes entreprises et que le PRONAFOC a été plus concerné par la formation continue auprès des petites et moyennes entreprises.

Naturellement, il s’agit d’un indicateur strictement comptable qui ne donne aucune idée de l’efficacité de la FPC sur la productivité des personnels concernés ni sur la compétitivité des entreprises qui les emploient. A ce stade, on peut seulement dire que les FPC financées par l’ABS via le PRONAFOC ont été effectuées, validant de fait l’indicateur.

L’Annexe 12 « Évaluation en formation continue » développe les points que nous jugeons importants dans un cadre prospectif plus large de la promotion de la formation professionnelle.

Indicateur 6 : La généralisation progressive de la mise en conformité des centres par rapport au RNQFP

Les centres de formation et le Référentiel National de la Qualité de la Formation Professionnelle obéit au principe de la démarche qualité à partir d’un Plan d’Aménagement de la Qualité (PAQ) selon les principes suivants. Il s’agit de parvenir à mieux :

- Diriger le centre

- Gérer les finances

- Assurer les services généraux

- Gérer les ressources humaines

- Développer, organiser, réaliser les prestations

- Manager la qualité.

A partir de ce référentiel, les centres ont été étalonnés conformes ou partiellement conformes. D’après le rapport 2010 de l’ATFP, les centres appelés à être certifiés par rapport au RNQFP, ont bénéficié d’un accompagnement dans le but d’améliorer leurs taux de conformité. 80 centres ont subi un positionnement par rapport au RNQFP, dont 23 ont un taux de conformité dépassant 70%.

Ces chiffres sont sensiblement différents de ceux présentés dans les rapports de suivi. Mais l’effort porté sur le renforcement de la qualité de l’offre va dans le bon sens.

Indicateur 8 : Définition et mise en place d'un cadre de reconnaissance des diplômes du système d'apprentissage

33 Il s’agit d’offrir des diplômes reconnus pour des jeunes qui quittent le système scolaire avant la fin de l’enseignement de base et qui suivent des formations professionnelles dans le cadre du système d’apprentissage.

En rapport avec les activités relatives à la promotion de la FP auprès des jeunes, la loi 2008-10 du 11 février 2008, les articles 13 et 1563 promulguent le cadre. L’arrêté du MEF du 26/02/2009 fixe les conditions d'obtention du certificat de compétence ainsi que la liste des 87 spécialités de formation concernées par ce type de certificat.

Indicateur 9 : Certification des centres de formation professionnelle ISO 9001 (7 en 2007 ; 10 en 2008 ; 15 en 2009).

Six centres ont été certifiés ISO entre janvier 2008 et mai 2009. 4 centres avaient été certifiés avant le démarrage du projet pour lesquels des rapports d’audit ont été élaborés64. L’ETF mentionne 15 centres certifiés ISO dans l’auto-évaluation de décembre 2010 (voir bibliographie).

Cependant, l’ISO ne tient pas nécessairement compte des innovations de MANFORM II (partenariat, APC, alternance, … etc.) ni de la finalité des centres de formation professionnelle dont la spécificité est de former pour l’emploi.

Certification ISO des centres de formation : récapitulatif65

Certification

Audit Surveillance, reconduction

Audit n°1 Audit n°2

C.S.F. Habillement La Goulette décembre 2006 23 et 24 janvier 2008 24 et 24 janvier 2008

C.S.F.T.A. Cuir Mégrine décembre 2006 18 janvier 2008 21 janvier 2009

C.S.F.E.M.E.Biomédicaux Tunis décembre 2006 24 et 25 janvier 2009 20 janvier 2009

C.S.F.Mécanique générale Gormbalia janvier 2007 13, 14 et 15 février 08 29 janvier 2009

C.F.A Bizerte janvier 2008 24 février 2009

C.F.A Zaghouan février 2008 22 janvier 2009

C.F.A Safx Bach Hamba mars 2008 23 janvier 2009

C.F.A Kélibia mai 2009 9 mai 2011

C.S.F. Énergétique Djerba mai 2009

C.S.F.M.I.EI Ouardia mai 2009

63

L’article 13 stipule qu’un "certificat de compétence" peut être délivré "aux demandeurs de formation qui ne remplissent pas les conditions de niveau scolaire pour accéder au premier cycle du cursus de la formation professionnelle". L’article 15 stipule que « L’apprentissage est organisé dans un cadre contractuel entre les apprenants et les entreprises économiques. Il se déroule essentiellement dans les espaces de production, sous réserve d’un complément de formation théorique assuré par les établissements de formation. L'âge d'inscription à l'apprentissage varie entre quinze et vingt ans, » 64

Un rapport d’audit n°2 du CFA de Kélibia a été fourni à la mission suite à sa visite au centre. Parmi les 12 recommandations et possibilités d’amélioration concernant strictement la FP, il faudrait veiller à: (i) Renforcer l’échantillonnage lors de l’enquête de satisfaction des apprenants (ii) Améliorer le suivi de la réalisation de la formation en alternance chez l’entreprise ; (iii) Intégrer un indicateur sur l’efficacité des actions de formation ; (iv) Développer davantage les analyses de données et le déclenchement des actions correctives et préventives. 65

Source : 2ème

mission de suivi 2009 – mise à jour.

34

Indicateur 10 : Présentation du CDMT du secteur de la formation professionnelle développé et actualisé tel qu'approuvé par le COPIL et son extension aux structures sous tutelle du MFPE (ATFP, CENAFFIF et CNFCPP) à partir de 2009. Le CDMT devra permettre de vérifier le montant effectif des crédits alloués et consommés au secteur de la FP relevant du MFPE.

Le CDMT66 a été élaboré comme outil de cadrage sur 3 ans jusqu'à 2011 ainsi que 4 sous-CMDT: services de pilotage; ingénierie de formation (CENAFFIF), Formation initiale (ATFP); Formation continue (CNCFPP) entérinés et validés par le MF, le MPCI et le MFPE. Il a été appuyé par l’assistance technique financée pour partie par les opérations non financières puisque la mise en œuvre du CDMT est une des conditionnalités pour le décaissement. La partie en appui au CDMT a été bien utilisée et a contribué à initier et à étendre le processus d’adoption du CDMT.

Cet indicateur a été validé suite à une analyse approfondie des finances publiques par les missions de suivi-évaluation de 2008 et 2009 sur la base du CDMT 2007-2009 présenté dans la convention de financement.

Il manque un vrai système d’information intégrant les CDMT sectoriels dans une concertation entre eux et avec le MF, ce à quoi devrait parvenir l’unité GBO67 créée dans 5 ministères dont le MFPE à titre exploratoire. Son rôle est essentiel car la GBO vise à renforcer le lien entre le budget et les objectifs de politique publique afin de rationaliser les dépenses publiques et de les rendre ainsi plus efficientes.

L’Unité GBO du MFPE est responsable du CDMT « Formation Professionnelle » et « Emploi » tant pour la préparation, la gestion que pour la mise à jour et l’actualisation annuelle. Le CDMT formation professionnelle est opérationnel et est à même de fournir un cadre budgétaire à moyen terme tenant compte des prévisions macro-économiques, et, capable de dégager les besoins de financement nécessaires sur la base d’hypothèses cohérentes. Il constitue un véritable outil d’aide à la décision quant à la programmation, la définition des résultats attendus et la gestion des activités liées de la formation professionnelle.

Le CDMT « emploi » est toujours en cours d’élaboration.

3.3.4 Impact et durabilité

La révolution de janvier 2011 en Tunisie a changé le paradigme sur l’Emploi et sur la Formation Professionnelle avec une plus large prise de conscience populaire des enjeux de la formation et des déséquilibres offre/demande sur le marché de l’emploi. Cette appréciation devra toutefois être affinée et explorée avec de plus amples et de plus nombreuses données68.

66 Un CDMT est un processus par lequel les décisions budgétaires annuelles sont prises à la lumière des contraintes

pluriannuelles sur les dépenses. 67

Décret n° 2008-2899 du 25 août 2008, portant création d’unités de gestion par objectifs pour la réalisation du projet

de réforme de la gestion du budget de l’État et fixant leur organisation et modalités de leur fonctionnement. 68

Cette exploration constituera une des opérations qui seront menées en groupe de travail lors de la 3ème

phase de la mission sur le terrain.

35 On aura également noté un travail plus rationnel des cadres administratifs avec l’utilisation des outils et des méthodologies développées dans le cadre de l’appui budgétaire. Des habitudes sont prises quant à l’utilisation d’outils de gestion et ses habitudes perdureront y compris hors appui ou aide extérieure.

Les CDMT, outre la rigueur qu’ils amènent dans les pratiques, ont également permis de montrer, sans ambiguïté, la nécessité de devoir faire appel aux financements extérieurs dès lors que les politiques veulent s’engager sur des stratégies de développement notamment de la FP pour lesquels les ressources d’investissement de l’État sont insuffisantes.

Il convient cependant de souligner dès à présent le peu d’impact de la Formation Professionnelle sur une amélioration de la gestion de l’emploi et l’équilibrage du marché de l’emploi.

C’est aussi l’occasion de rappeler le postulat entièrement faux et trop souvent entendu que la formation professionnelle crée l’emploi. En effet, dire que l’on va « améliorer l’accès des jeunes à un emploi (l'insertion) grâce à la formation professionnelle (acquisition de qualifications) et grâce au développement de la petite entreprise » peut apporter confusion dans l'exacte compréhension du phénomène global et complexe « formation-croissance-emploi, croissance-formation-emploi,… ». Autant est-il vrai que l'acquisition de compétences nouvelles ou l'amélioration de compétences jugées insuffisantes peut faciliter l'insertion et favoriser l'embauche de la personne formée, autant il est vrai également que ce n'est pas la formation, aussi "excellente" soit-elle, qui procure l'emploi. C'est "la croissance" et "l'investissement" qui vont procurer et faire progresser l'emploi. On pourra dire que la promotion de l’économie et de l’emploi n’est améliorée par la formation professionnelle que si, en même temps qu'une formation de qualité, il y a aussi de l'investissement de manière significative qui facilite le démarrage ou l'augmentation d'une activité économique susceptible de créer des emplois. La question de l’emploi, préoccupante socialement et économiquement, en lien direct avec l’économie et la formation devra donc être traitée au plus haut niveau de l’État.

On ne saurait trop encourager le maintient des liens institutionnels entre la FP et l’Emploi sous une même tutelle. Reste alors de mettre l’accent et de saisir toutes les opportunités pour renforcer le plus largement possible les liens et les interactions entre problématique de l’emploi et développement de la formation professionnelle69 via un véritable partenariat entre acteurs économiques et opérateurs de la formation. Actuellement ce partenariat est trop limité à quelques thèmes de concertation et des grands pans de la formation susceptibles d’améliorer considérablement les performances des entreprises telle que la formation continue des personnels sont à prendre beaucoup plus en considération dans les stratégies d’amélioration de la FP et de l’Emploi.

69

Renforcer le lien FP et Emploi c’est par exemple intensifier les relations entre l’ONEQ et l’ANETI et ainsi se renforcer mutuellement.

36

4 Conclusions et recommandations

4.1. Conclusions d’ordre général

Le fait de disposer d’un document de stratégie sectoriel milite en faveur de la cohérence des aides et de l’ABS qui exige une stratégie nationale.

L’ABS aura ainsi assez clairement contribué au renforcement des capacités du ME et du MFPE:

a) au niveau des ressources budgétaires : un complément significatif au budget pour assurer les dépenses additionnelles à la mise en œuvre de la stratégie de développement ;

b) au niveau des ressources humaines : une amélioration des compétences et une modification des comportements en « obligeant » l’ensemble des responsables à travailler par résultats et par objectifs notamment via l’outil CDMT.

La visibilité de l’aide a été minime, limitée au cercle des hauts responsables des deux ministères et des organisations professionnelles. Elle a été très faible au niveau régional. La mission a constaté qu’à de rares exceptions près (BEPP et DAF), les cadres du ME et du MFPE ignoraient l’existence du programme PAPS et, a fortiori, l’utilisation de la modalité d’aide par ABS70. Dans ces conditions, il était donc difficile d’attendre une appréciation de la part des responsables sur les apports aux programmes de la modalité ABS.

Les deux programmes ont globalement été une réussite, ainsi que l’ont souligné les missions successives de suivi, et les leçons que la mission en tire dans le présent rapport pourraient être utiles pour la conception et l’organisation des prochains programmes d’aide, de préférence en utilisant la modalité ABS (programme PEFESE en particulier). Ils ont eu des effets positifs et durables et ont permis d’appuyer des stratégies cohérentes.

L’efficience n’est cependant pas à la hauteur des espérances, on aurait pu faire plus avec les ressources additionnelles fournies.

Les deux programmes, Enseignement Secondaire et MANFORM II, ont sans doute souffert d’une insuffisance d’Assistance Technique institutionnelle, en particulier d’un expert résident et d’experts court terme aux missions coordonnées par le BEPP: sans porter atteinte au principe d’appropriation par les autorités bénéficiaires (MDCI mais surtout MFPE) , la présence de cette AT aurait permis d’assurer plus de cohérence et de suivi dans les inputs du programme et, en particulier d’essayer de compenser les grandes variations de gouvernance.

Le programme MANFORM II aurait eu un impact plus évident si, en parallèle, avait été conçu et mis en œuvre un programme similaire pour l’emploi.

La création du MFPE est censée renforcer le lien formation professionnelle et emploi. Autrement dit : dès que l’on parle de structures de FP, on devrait parler de structures d’emploi. Cette relation est encore ténue :

- Le partenariat opérationnel – et non seulement formel – est à renforcer entre opérateurs économiques et opérateurs de formation.

- La gouvernance et le dialogue inter-ministères et institutions de tutelle sont les clés du succès de PEFESE et autres programmes sur l’emploi.

70

Les rapports de suivi des programmes ES et MANFORM II, y compris le rapport d’évaluation final, ont été élaborés avant l’éclatement du MEF. Les cadres du ME et du MFPE actuels, à part les directions spécialisées (CDMT/GBO, Coopération internationale) ont une connaissance de l’ABS via leur formation au CDMT puis au GBO.

37

- La coordination des outils de mesures statistiques entre FP et Emploi est impérative, en particulier, l’ONEQ et l’ANETI doivent se renforcer mutuellement.

- La formation continue, toujours balbutiante est à développer et renforcer.

4.2. Recommandations relatives à un programme d’appui à l’Enseignement Secondaire

Le Programme ES a démarré sur des bases insuffisantes en matière de gouvernance, et a été soumis, dans sa mise en œuvre (2006-2008) et dans la période « post-programme » (de 2009 à 2011) à beaucoup d’aléas et d’une cohérence insuffisante quant à sa conduite. La participation du BEPP et en particulier de son Directeur adjoint à l’époque du programme (maintenant Directeur) a certainement été le seul garant de suivi et de continuité dans la gestion du programme et dans les relations Gouvernement tunisien – DUE mais son rôle aurait peut-être gagné à être élargi, en coordination avec le MDCI et, après la scission des deux Ministères avec le MEFP.

La mission estime utile, avant de formuler ses recommandations, de citer le dernier rapport de suivi du programme ES (décembre 2008) pour ce qui est des perspectives d’évolution attendues du secteur Éducation (et ES en particulier) pour les années 2010 et 2011 :

« Depuis la dernière mission de suivi (mars 2008), les actions en matière : i)- d’amélioration de la vie scolaire ; ii)- de professionnalisation des personnels enseignants et d’encadrement ; iii)- la montée en charge des IMEF ; iv)- la décentralisation de l’organisation éducative ; ainsi que, v)- l’amélioration de l’équité au niveau régional, ont poursuivi leur cours avec des effets positifs tangibles tels que l’élaboration d’ébauches de plans de régions par les DREF. La grande nouveauté de la période réside dans les précisions apportées pour l’implantation des nouvelles filières menant au baccalauréat technique. Il faut rappeler en effet que depuis 2007/08, le MEF a décidé de mettre en place un enseignement technique au niveau collégial avec une 7

ème année de tronc commun – 8

ème et 9

ème année spécialisées menant au

Certificat d’aptitude professionnelle (CAP). A cet effet, pour l’année 2007/08, 32 anciennes écoles des métiers ont été réhabilitées en collèges techniques et pour l’année 2008/09, 56 autres (sur les 90 écoles de métiers existant, les dernières n’étant pas prises en compte du fait de leur vétusté). Les élèves sortant de cet enseignement technique pourront soit poursuivre un enseignement professionnel au niveau du BTP, soit (et ce sera sans doute la majorité) poursuivre leur scolarité auprès de filières menant au baccalauréat professionnel. L’ouverture de cet enseignement professionnel est prévue pour septembre 2010 (année scolaire 2010/11). A ce jour, les responsables du MEF n’envisagent pas de construire des lycées professionnels à proprement parler mais d’aménager ces filières au sein de tout établissement (lycée ou centre de formation professionnel – ou panachage de ces deux structures - pouvant adéquatement les accueillir au prix des aménagements nécessaires). Une commission ad-hoc constituées des responsables du MEF et des partenaires sociaux, notamment l’UTICA, a été constituée pour déterminer quelles seront les quelques 3 ou 4 filières qui seront retenues pour la première année de mise en place de cet enseignement, ce qui déterminera les programmes spécialisés à élaborer et tester, le profils des encadreurs à mobiliser et à former, les aménagements physiques à opérer et les équipements à acquérir, le tout avant septembre 2010.

Les élèves titulaires du Bac. Pro. pourront aller, soit sur le marché du travail (pour autant que les employeurs reconnaissent la qualité des formations dispensées), soit créer leur propre entreprises (pour autant qu’un dispositif approprié d’aide et de financement soit opérationnel), soit poursuivre au niveau de l’enseignement supérieur pour obtenir un BTS ou pour s’inscrire dans les ISET ou tout autre ordre d’enseignement spécialisé tel que les licences professionnelles. La création de filières diversifiées dans l’enseignement secondaire, notamment les filières menant au baccalauréat professionnel répond à un souci d’instruire et de qualifier en plusieurs étapes et, surtout, de limiter l’accès aux filières littéraires qui

38 attirent souvent les élèves mais qui ne débouchent pas toujours sur des professions répondant au marché actuel de l’emploi.

Il faut également souligner ici que les filières menant au baccalauréat professionnel qui vont être mises en œuvre à compter de septembre 2010 offriront un nouveau choix de trois à quatre filières de niveau

secondaire venant s’ajouter aux 6 filières actuellement disponibles ; ce choix devant encore s’élargir »

Cet extrait, partagé avec le Directeur du BEPP (à l’époque S/Directeur) fournit en effet un éclairage à nos recommandations et permet de vérifier une certaine continuité entre le suivi du programme (de 2006 à 2008) et la présente évaluation (un peu plus de 2 ans après). On notera cependant que la réforme prévue du bac pro n’a pas été mise en place. Elle devrait incomber au MFPE ( à faire toutefois en concertation avec le ME).

Sur cette base, la mission formule les recommandations suivantes :

La Gouvernance doit être au centre de tout programme futur et devra faire l’objet de discussions approfondies, lors de la préparation, avec les autorités éducatives et leurs partenaires naturels (MEFP, MESR, MDCI) de manière à ce que ce niveau du futur programme PAPS (PEFESE par exemple) fasse l’objet d’un consensus entre les autorités sectorielles nationales et la DUE; en particulier les nouvelles réflexions des autorités nationales sur les nouvelles politique et stratégies éducatives découlant vraisemblablement des changements du contexte sociopolitique devraient être partagées avec la DUE à cette occasion,

Pour tout nouveau programme, une Approche Systémique englobant tous les niveaux de l’approche PAPS (cf. figure 1) ainsi que toutes les composantes des rapports entre les demandes et attentes de la population et de la société (demande sociale, demande économique et emploi, etc.) et les offres éducatives offertes par toutes leurs modalités (public, privé, éducation nationale, formation professionnelle);

Dans tout nouveau programme concernant le Secteur Éducation, surtout selon la modalité ABS, il serait souhaitable d’inclure une importante Assistance Technique (d’appui au PAPS) auprès des institutions de pilotage, assez flexible pour répondre aux conditions d’appropriation d’un programme ABS par les autorités tunisiennes ; certains thèmes de cette AT en appui aux structures de pilotage sont mentionnés au cours du présent rapport mais ils pourront faire l’objet d’échanges approfondis lors de la 3ème mission (avec le bénéficiaire et avec la DUE) ;

Parmi ces thèmes d’AT auprès des institutionnels, une priorité pour la mission lors d’un programme ultérieur d’assistance au ME (et au MEFP) serait une aide à concevoir et à préparer (conjointement entre tous les acteurs publics et privés) un Management Information System (MIS) afin de fournir systématiquement des informations opérationnelles et à jour.

39

Niveau Décisionnel – Pilotage i) MINISTERE(S) II) REGION

Collectivités territoriales

Niveau Opérationnel iii) Organisations professionnelles

iii) Opérateurs de formation

4.3. Recommandations relatives à un programme d’appui à la Formation Professionnelle (pour l’Emploi)

Elles visent à concentrer l’aide sur les axes stratégiques suivants :

L’appui à la Gouvernance doit être au centre de tout programme futur, avec l’intervention d’une assistance technique renforcée, et en corollaire, un panachage « Appui Budgétaire Sectoriel / Approche Projet.

Le maintien en permanence d’un principe directeur fort : Tout nouveau programme de formation professionnelle devrait être conçu en fonction de son but : faciliter (et non créer) l’insertion professionnelle.

Pour ce faire, toutes les initiatives qui vont dans ce sens sont à soutenir :

Faciliter la mise en œuvre des opérations de formation qui répondent à une demande

Intensifier la formation continue des personnels d’entreprises

Faire assurer le suivi des formés par les centres.

Intensifier et favoriser le travail de proximité entre les centres et leur environnement économique immédiat, ainsi qu’avec les organisations de la société civile locale.

Le renforcement du partenariat « acteurs économiques – opérateurs de formation » aux niveaux opérationnel, décisionnel, avec les acteurs privés/publics dans un maillage à 3 dimensions.

La décentralisation régionale effective est toujours en devenir nécessitant une vision plus large que les gouvernorats en lien avec le MDR :

Un plan d’aménagement du territoire reste à faire

Une réelle autonomie financière régionale

Un déplacement du centre de décision vers la région.

Un travail de proximité en FP et en emploi (approche de type bottom-up)

Un rééquilibrage régional de la distribution des CFS/CFA ou redéfinir un centre de formation sans appellation spécifique.

40

Le développement de la formation continue : Renforcer, surtout vis-à-vis des PME, des nouveaux secteurs d’activité économiques et vers le secteur rural (agriculture et activités connexes).

L’expérimentation et l’évaluation des mécanismes de financement (cf. PRONAFOC) : appuyer les études sur la fiscalisation et la contribution des entreprises.

L’implantation d’une culture de travail pour des résultats évalués en termes d’insertion et d’emploi. ans le cadre d’un ABS, une plus grande précision dans les indicateurs de performance (résultats) est nécessaire (ils déclenchent les décaissements) et efficace en termes de changement des comportements

La mise place d’un dispositif d’évaluation des performances du système de formation (dont les principales mesures se situent dans les entreprises et dans tous secteurs d’emploi)

L’ouverture et l’attractivité « d’autoroutes » de la formation (et non pas des « passerelles », allant du système éducatif secondaire vers la FP et de la FP vers la formation professionnelle supérieure).71

L’implantation d’un dispositif d’Information et de communication :

Mise en place d’un dispositif de communication interne [Comme par exemple le renforcement des capacités de traitement des données de l’ONEQ et la communication vers le niveau décisionnel des informations comme outils d’aide à la décision avec feed-back]

Mettre en place un outil de veille (relation avec l’extérieur et partenariat avec l’étranger)

Mise en œuvre d’un plan ambitieux de communication auprès des opérateurs économiques et de la société civile, des employeurs, des fédérations, etc

Visibilité de l’ABS plus soutenue auprès des principaux bénéficiaires en préparant des appuis budgétaires bien ciblés.

71

Les stagiaires de FP en formation initiale devraient bénéficier de « sorties vers le haut » pour ne pas être cantonnés à vie à un niveau BT ou BTS.

41

Deuxième partie

5. Compléments après restitution de l’évaluation

5.1. Préambule

Une troisième phase dans la mission d’évaluation avait pour objet d’en restituer les résultats auprès des divers partenaires des secteurs de l’Education secondaire et de la Formation professionnelle.

Cette troisième et dernière phase s’est déroulée début février 2012, soit 6 mois après la phase d’analyse. Laquelle analyse s’est elle-même effectuée en juillet-août 2011, soit un an et demi après la fin du programme. Le contexte économique, social et politique a considérablement évolué depuis cette analyse et à fortiori depuis la fin d’exécution du programme. Les conclusions, par ailleurs reconnues comme réelles, ne sont plus d’actualité. En revanche nombre de recommandations s’avèrent toujours pertinentes pour construire l’avenir de ces dispositifs éducatif et de formation. Les partenaires l’ont bien compris et si l’attitude générale est « d’oublier le passé », la volonté existe de travailler pour le futur sur des bases nouvelles et reconnues comme solides par l’ensemble des parties prenantes, société civile et pouvoirs publics pour le dispositif éducatif et organisations professionnelles, société civile et pouvoirs publics pour le dispositif de formation professionnelle.

C’est dans cet esprit que s’est donc tenue la restitution des résultats de l’évaluation. Celle-là a pu se tenir sur une journée (voir Annexe 15-1 : programme de la journée). Les activités de la restitution ont bénéficié d’une bonne participation du Ministère de la Formation Professionnelle et de l’Emploi mais, en raison d’un problème de communication entre le MCI et le MFPE il n’y a eu aucun participant du Secteur Education ni du Ministère des Finances, deux représentants du Ministère de l’Enseignement Supérieur ont rejoint l’atelier en fin de réunion. La séance a bénéficié d’une large couverture médiatique grâce à la présence de nombreux journalistes de la presse écrite, de la radio et de plusieurs chaînes de télévision. La société civile était également représentée (un syndicat de travailleurs et une association).

Selon l’ordre du jour du séminaire, la mission a présenté ses conclusions et recommandations générales et spécifiques à chaque programme dans un diaporama (Annexe 15-2) complété par une note de synthèse du rapport final de la mission remise aux participants (Annexe 15-3). Les participants nationaux (liste en Annexe 15-4) ont ensuite formulé des observations critiques et des compléments d’avis auxquels les membres de la mission UE ont répondu pour clarifier leurs opinions.

L’atelier a bénéficié d’une participation très animée, agrémentée de vifs échanges entre participants (institutionnels et société civile en particulier) et s’est prolongé au-delà du temps prévu. Le présent compte-rendu en donne les principaux avis formulés (individuellement ou en groupes) sur les 3 thèmes de discussion retenus.

42

5.2. Rappel des conclusions et recommandations de l’évaluation

5.2.1. Conclusions d’ordre général

Le fait de disposer d’un document de stratégie sectoriel milite en faveur de la cohérence des aides et de l’ABS qui exige une stratégie nationale.

L’ABS aura ainsi assez clairement contribué au renforcement des capacités du ME et du MFPE :

a) au niveau des ressources budgétaires : un complément significatif au budget pour assurer les dépenses additionnelles à la mise en œuvre de la stratégie de développement ;

b) au niveau des ressources humaines : une amélioration des compétences et une modification des comportements en « obligeant » l’ensemble des responsables à travailler par résultats et par objectifs notamment via l’outil CDMT.

La visibilité de l’aide a été minime, limitée au cercle des hauts responsables des deux ministères et des organisations professionnelles. Elle a été très faible au niveau régional.

Les deux programmes ont globalement été une réussite. Ils ont eu des effets positifs et durables et ont permis d’appuyer des stratégies cohérentes. Il convient cependant de tirer les leçons des défauts constatés et des difficultés rencontrées pour concevoir et organiser des prochains programmes d’aide, notamment dans le cadre d’appuis budgétaires (programme PEFESE en particulier).

L’efficience n’est cependant pas à la hauteur des espérances, on aurait pu faire plus avec les ressources additionnelles fournies.

Les deux programmes, Enseignement Secondaire et MANFORM II, ont sans doute souffert d’une insuffisance d’Assistance Technique institutionnelle, en particulier d’un expert résident et d’experts court terme, sans porter atteinte au principe d’appropriation par les autorités bénéficiaires, la présence de cette AT au sein de l’administration aurait permis à celle-ci de garantir plus de cohérence et un meilleur suivi dans les inputs du programme.

Le programme MANFORM II aurait eu un impact plus évident si, en parallèle, avait été conçu et mis en œuvre un programme similaire pour l’emploi.

La création du MFPE était censée renforcer le lien entre formation professionnelle et emploi. Les structures de formation professionnelles devraient être en relation étroite avec les structures qui animent et gèrent le marché de l’emploi. Cette relation est encore ténue :

- Le partenariat opérationnel – et non seulement formel – est à renforcer entre opérateurs économiques et opérateurs de formation.

- La gouvernance et le dialogue inter-ministères et institutions de tutelle sont les clés du succès de PEFESE et autres programmes sur l’emploi.

- La coordination (notamment pour les mesures statistiques) entre FP et Emploi est impérative, en particulier l’ONEQ et l’ANETI doivent se renforcer mutuellement.

- La formation continue, toujours balbutiante avec les opérateurs de formation publics est à développer et à renforcer.

43 5.2.2. Recommandations relatives à un programme d’appui à l’Enseignement Secondaire

Les principales recommandations concernent :

La Gouvernance

L’exigence d’une « bonne gouvernance » doit être au centre de tout futur programme et devra faire l’objet de discussions approfondies, lors de la préparation, entre les autorités éducatives et leurs partenaires naturels (MFPE, MESR, MDCI) de manière à assurer une coordination et, si possible, une intégration entre les dispositifs de ces 3 sous-secteurs de la fonction « Développement social et économique des Ressources Humaines ».. Elle devrait être repensée en fonction des nouvelles stratégies éducatives intégrées que les responsables du Secteur Education dans son ensemble vont élaborer sur la base des changements du contexte sociopolitique résultant de la Révolution.

Une approche Systémique

Elle est la garantie de ne pas pas faire trop d’erreurs ou d’oublis. Il conviendra donc d’adopter une Approche Systémique englobant tous les aspects d’un PAPS ainsi que toutes les composantes des rapports entre les demandes et attentes de la population et de la société (demande sociale, demande économique et emploi, etc.) et les offres éducatives offertes par toutes leurs modalités (public, privé, éducation nationale, formation professionnelle).

L’apport d’une expertise externe

Dans tout nouveau programme ABS de l’UE, en coordination avec ses partenaires techniques et financiers, concernant le Secteur Éducation et le sous-secteur Enseignement Secondaire en particulier, il conviendrait d’inclure une importante Assistance Technique auprès des institutions de pilotage, assez flexible pour répondre aux conditions d’appropriation d’un programme ABS par les autorités tunisiennes.

Le management d’un système d’information

Parmi les thèmes à traiter, une des priorités serait l’élaboration et la fabrication (conjointement entre tous les acteurs publics et privés du Secteur Education et Formation Professionnelle) d’un Management Information System (MIS) afin de fournir systématiquement et régulièrement des informations opérationnelles et à jour à tous les acteurs (et principalement décideurs) concernés par l’Education et la Formation.

5.2.3. Recommandations relatives à un programme d’appui à la Formation Professionnelle (pour l’Emploi)

Elles visent à concentrer l’aide sur les axes stratégiques suivants :

L’appui à la Gouvernance doit être au centre de tout programme futur, avec l’intervention d’une assistance technique renforcée, et en corollaire, un panachage « Appui Budgétaire Sectoriel / Approche Projet ».

Le maintien en permanence d’un principe directeur fort : Tout nouveau programme de formation professionnelle devrait être conçu en fonction de son but : faciliter (et non créer) l’insertion professionnelle.

Pour ce faire, toutes les initiatives qui vont dans ce sens sont à soutenir :

Faciliter la mise en œuvre des opérations de formation qui répondent à une demande

Intensifier la formation continue des personnels d’entreprises

Faire assurer le suivi des formés par les centres.

44

Niveau Décisionnel – Pilotage i) MINISTERE(S) II) REGION

Collectivités territoriales

Niveau Opérationnel iii) Organisations professionnelles

iii) Opérateurs de formation

Intensifier et favoriser le travail de proximité entre les centres et leur environnement économique immédiat, ainsi qu’avec les organisations de la société civile locale.

Le renforcement du partenariat « acteurs économiques – opérateurs de formation » aux niveaux opérationnel, décisionnel, avec les acteurs privés/publics dans un maillage à 3 dimensions.

La décentralisation régionale effective est toujours en devenir. Il devient urgent et nécessaire d’avoir une vision plus large et innovante de la régionalisation que ce qu’en donne aujourd’hui l’organisation entre les gouvernorats et le MDR. Pour donner du sens et du crédit à la formation dans chacune des régions, on attend notamment :

Un plan d’aménagement du territoire et des plans de développement économique pour chaque région

Une réelle autonomie financière des régions et, pour ce qui concerne la formation professionnelle, une autonomie des centres de formation

Un déplacement du centre de décision vers la région.

Un travail de proximité pour tout ce qui concerne l’emploi et la formation (approche de type bottom-up72)

Un rééquilibrage régional dans l’implantation des CFS/CFA. La remise en vigueur de centres de formation non sectoriels (sans appellation spécifique) adaptés au bassin d’emplois environnant.

Le développement de la formation continue : Renforcer, surtout vis-à-vis des PME, des nouveaux secteurs d’activité économiques et vers le secteur rural (agriculture et activités connexes).

L’expérimentation et l’évaluation des mécanismes de financement (cf. PRONAFOC) : appuyer les études sur la fiscalisation et la contribution des entreprises.

L’implantation d’une culture de travail pour des résultats évalués en termes d’insertion et d’emploi. ans le cadre d’un ABS, une plus grande précision dans les indicateurs de performance (résultats) est nécessaire (ils déclenchent les décaissements) et efficace en termes de changement des comportements

La mise place d’un dispositif d’évaluation des performances du système de formation (dont les principales mesures se situent dans les entreprises et dans tous secteurs d’emploi)

L’ouverture et l’attractivité « d’autoroutes » de la formation (et non pas des « passerelles », allant du système éducatif secondaire vers la FP et de la FP vers la formation professionnelle supérieure).73

72

« Du bas vers le haut », application directe du principe de subsidiarité : localement les besoins et les contraintes ne sont bien connus que par les locaux.

45

L’implantation d’un dispositif d’Information et de communication :

Mise en place d’un dispositif de communication interne [Comme par exemple le renforcement des capacités de traitement des données de l’ONEQ et la communication vers le niveau décisionnel des informations comme outils d’aide à la décision avec feed-back]

Installation d’un outil de veille (relation avec l’extérieur et partenariat avec l’étranger, travail en réseaux,)

Mise en œuvre d’un plan ambitieux de communication auprès des opérateurs économiques et de la société civile, des employeurs, des fédérations, etc.

Visibilité de l’ABS plus soutenue auprès des principaux bénéficiaires en préparant des appuis budgétaires bien ciblés.

5.3. Compléments / Conclusions et recommandations de l’évaluation

Les principales conclusions et recommandations (cf. chapitre précédent) ont été approuvées et validées par les participants.

Un florilège des questions-réponses ont permis d’évoquer les points suivants :

Le clivage entre les ministères concernés par l’emploi, le MDR, le MFPE et le MES74. On aura également noté le cloisonnement entre les trois ministères concernés par l’éducation et la formation (Ministère de l’Education, Ministre de l’Enseignement Supérieur et Ministère de la Formation Professionnelle) qui ont des difficultés à communiquer et à s’entendre sur les points de rencontre de leur mission respective75. Faire « tomber » les cloisons, faire travailler les gens ensemble, installer une concertation positive deviennent des enjeux qui ressortent en tout premier lieu de la gouvernance.

On recommande de nouveau une refonte du(des) système(s) d’information-communication. Le MFPE va lancer une étude diagnostique pour le ministère sur cette thématique (sur budget de l’état). La mise en œuvre des préconisations en matière d’information et de communication pourrait en revanche faire l’objet d’un programme d’aide de la part d’un des PTF de la Tunisie.

L’employabilité à la sortie de l’enseignement secondaire. C’est un indicateur qui est dépendant de la maitrise des compétences de base et de la démarche scientifique. Le demandeur d’emploi manque souvent de ces compétences, ce qui renvoie au problème du niveau et du contenu de l’enseignement de base.

La relation entreprises-opérateurs de formation. Elle devrait être celle de clients-fournisseurs, le client étant l’entreprise et le fournisseur le centre de formation. Or cette relation est rarement bouclée et fonctionne mal surtout au niveau macro : l’entreprise exprime des besoins en qualifications que le centre ne délivre pas ou mal et, inversement, l’offre de formation, par filière ou par spécialité ou par niveau, ne répond pas à la demande ou n’est simplement pas assez réactive. Un vrai système clients-fournisseurs est à mettre en place à

73

Les stagiaires de FP en formation initiale devraient bénéficier de « sorties vers le haut » pour ne pas être cantonnés à vie à un niveau BT ou BTS.

74 Ministère de l’Enseignement Supérieur (nouvellement créé)

75 A titre d’exemple, ont été cités les divergences i) sur le problème de l’orientation des jeunes, ii) sur la problématique

des voies de passage des élèves d’un dispositif à un autre, iii) sur les diplômes et la certification.

46 commencer au niveau local. Il a été proposé une étude sur les parcours et sur la redevabilité (gestion par les résultats).

L’insertion professionnelle. L’insertion est un concept vague en temps que tel. Avant l’insertion qui conduit à un emploi stable à la satisfaction du sortant de formation et de l’entrepreneur, il y a de grandes différences d’emploi : emploi temporaire ou à temps partiel, emploi forcé « faute de mieux », mobilité nécessaire, salaire insuffisant lié souvent à un emploi déclassé, etc. Si, au niveau national, 5% des sortants de FP ne trouvent pas d’emploi76, il y a de grandes variations d’une région, d’un secteur, d’une spécialité à l’autre qu’il faut analyser et gérer. Il manque notamment un cadre juridique relatif au mode de gestion des centres de formation (autonomie, responsabilisation, évaluation par les résultats, etc…).

Les échanges ont permis d’organiser l’atelier autour des 3 thèmes suivants qui sont apparus comme particulièrement critiques pour le devenir du système de formation professionnelle.

Le partenariat « Entreprises - Formation Professionnelle »

La formation professionnelle continue

La relation (l’interaction ?) « Enseignement technique - Formation professionnelle »

Ce dernier thème a été retenu pour son attache avec le système éducatif et avec le système de formation et pour ainsi en discuter malgré l’absence des représentants de l’éducation.

Vu le peu de temps disponible, il a été proposé à la quinzaine de participants de se regrouper en fonction des thèmes et ensuite de faire part des résultats de leurs discussions.

5.3.1. Relation (interaction?) Enseignement technique - Formation professionnelle

Trois aspects majeurs ont émergé de la concertation ; ils ont été formulés par des représentants du MFPE et des professionnels des entreprises et n’ont pu bénéficier des opinions des représentants du ME (absents). Il s’agit de :

Mission et concepts de l’ET (selon le MFPE)

Organisation de l’Enseignement Technique (collèges techniques, filières « techniques » de l’Enseignement Secondaire)

Relations entre diplômes de l’ET, de la FP et de l’enseignement supérieur

Il ressort de la discussion les clarifications suivantes :

Le concept d’enseignement technique au niveau secondaire n’a été que partiellement explicité et mis en œuvre dans le cadre des 4 filières et des 6 sections. Le projet de créer dans ce cadre 3 ou 4 filières ou sections supplémentaires débouchant sur un baccalauréat professionnel77 n’a pas eu le temps d’être finalisé et mis en œuvre en 2010 en partie en raison des évènements qui ont conduit à la Révolution 2011 mais aussi en raison d’un manque de clarté de ce concept par rapport au dispositif de la Formation Professionnelle. Par ailleurs, l’observation des diplômés de l’enseignement secondaire dans les filières d’enseignement technique, en particulier la filière « Informatique », a montré que ces diplômés n’étaient pas mieux préparés aux études supérieures dans ce domaine que

76

Données relatives à la période de 2005 à 2010.

77 « Bac Pro »

47

d’autres bacheliers (comme par exemple ceux des filières littéraires), en raison notamment de déficiences en capacités de base (lecture, écriture, mathématique). De plus, la création en 2007/2008 de collèges techniques (une cinquantaine à ce jour) conduisant au CAP a ouvert une voie possible aux élèves en échec scolaire en fin de primaire et début du collège mais n’a pas constitué une voie d’accès systématique et reconnue vers la formation professionnelle (en vue d’un BTP par exemple). Certains participants ont même exprimé l’opinion que ce nouveau concept aurait pour objet de « cacher les déperditions » (élèves en situation d’échec) au niveau enseignement de base et secondaire et aussi faciliter « l’obtention d’un job » ; ce dernier point n’a jamais été vérifié et, raisonnablement, il ne le peut pas.

D’après les représentants de la FP, la création « d’un dispositif d’enseignement technique » au sein de l’éducation nationale n’a pas représenté une plus value, ni pour l’employabilité des élèves sortants de ces filières, ni pour la crédibilité du système de formation professionnelle, par ailleurs bien reconnu sur le marché du travail et par les familles. Ceci est d’autant plus vrai que l’ambition de la plupart des familles tunisiennes est de maintenir les jeunes dans le système scolaire afin qu’ils poursuivent jusqu’aux études supérieures et accèdent aux plus hauts diplômes (Maitrise en particulier) ou, à défaut, qu’ils puissent entrer dans l’autre système bien structuré de la Formation Professionnelle. En revanche, pour les élèves dans les centres de FP, la possibilité de réintégrer le système scolaire (au niveau de l’éducation secondaire) se heurte à des obstacles « bureaucratiques » de règlementation éducative. Pour une éventuelle réintégration dans l’enseignement supérieur, les difficultés sont telles qu’il s’agit en réalité d’une impossibilité pour ces élèves de la Formation professionnelle d’accéder à l’enseignement supérieur. Enfin, la « visibilité » et la « crédibilité »de l’enseignement technique auprès du marché de l’emploi sont tout à fait insuffisantes comparées à celles de la FP, bien reconnue au sein des entreprises et des organisations professionnelles.

En résumé :

Une filière d’enseignement technique dans le dispositif d’éducation secondaire est :

Soit à proscrire si elle conserve une connotation de filière à finalité professionnelle. Il appartient à la formation professionnelle d’utiliser ses ressources matérielles et humaines pour mettre en place des formations de techniciens et de techniciens supérieurs dans les secteurs porteurs. Des possibilités de poursuite d’études vers le supérieur devront être étudiées.

Soit à maintenir si elle est organisée comme le sont les filières « mathématique » ou « scientifique » ou autres filières classiques assurant l’accès à des filières de l’enseignement supérieur à finalité professionnelle qui préparent à un métier de cadre.

5.3.2. Le partenariat « Acteurs économiques – Opérateurs de formation »

Toutes les parties prenantes s’accordent à dire que l’existence et l’opérationnalité de ce partenariat est une des principales conditions de réussite et donc d’efficacité du système (national ou local) de formation professionnelle, dont l’objectif est l’insertion professionnelle des sortants. Cet objectif relève de deux considérations qui trop souvent sont opposées. En réalité, elles ne le sont pas. La première est d’ordre économique : à l’issue d’une formation, les entreprises trouvent les bonnes personnes et les compétences dont elles ont besoin pour être compétitives. La deuxième est d’ordre social : les postulants qui ont obtenu un emploi (salarié ou en auto-emploi) disposent ainsi d’une source de revenus pour pouvoir faire vivre leur famille.

48 Le partenariat est ainsi à examiner à divers niveaux.

Au niveau macro et des institutions, il est reconnu78 que la relation entre les organisations professionnelles et le MFPE est très bonne. Elle est opérationnelle concernant les choix à opérer, la stratégie et les affectations de financement. Mais il convient de ne pas limiter ce partenariat au binôme « entreprises » -« opérateurs de formation » et l’étendre aux organisations de la société civile et aux organisations syndicales. Les ONG sont encore absentes du partenariat, or depuis 2011, elles occupent une place déterminante en Tunisie. Elles auront un rôle important à jouer à l’instar de leurs activités dans les autres pays. De même qu’il faut aussi considérer l’individu, l’individu demandeur d’emploi et demandeur de formation, mais aussi l’individu citoyen.

Au niveau du terrain, la formation en alternance est le meilleur outil pour connecter l’apprenant à l’entreprise et générer l’emploi en fin de parcours. Mais si le centre de formation n’est pas piloté correctement, le partenariat n’existe pas. Il faut agir sur la gouvernance pour forcer les chefs d’établissement à gérer les centres de formation par les résultats. Au niveau supérieur, la co-construction des licences professionnelles entre l’entreprise et l’enseignement supérieur est un bel exemple de partenariat (TULIP). En faire de même au niveau de la formation professionnelle79 est en cours..

Au niveau des bailleurs de fonds, l’AFD est un excellent partenaire suivie de la Banque mondiale et, dans une moindre mesure l’UE.

En résumé

L’opérationnalité du partenariat est à développer en urgence, sur le « terrain » en accompagnement de la régionalisation et inversement. Il convient alors, en matière de formation continue, de la part des autorités et des partenaires techniques et financiers, de favoriser par tous les moyens le développement et la multiplication des opérations de proximité qui peuvent se réaliser entre un ou plusieurs centres de formation et les entreprises80 qui sont dans leur environnement proche.

5.3.3. La formation continue

La formation continue est quasiment absente du paysage de la formation. La perspective de développer un mécanisme de formation tout au long de la vie devient une vision de plus en plus partagée par les acteurs économiques et par la société civile.

La formation continue à court terme est considérée comme une variable d’ajustement de la formation initiale aux demandes toujours changeantes du marché du travail. Elle est perçue comme d’autant plus essentielle que la formation initiale s‘avère faible, inconsistante ou inadaptée.

78

Cf. Monsieur Abdelaziz Halleb (FEDELEC)

79 Une co-construction des produits, des référentiels et des méthodologies (AFPA).

80 Le terme « entreprise » étant pris au sens le plus large possible, acteur économique ou agent de la société civile

pouvant ouvrir un emploi.

49 Les questions-clés sont posées : comment mieux gérer la formation continue par rapport au référentiel-métier ? Comment en faire une véritable ingénierie à l’instar de la formation initiale ? Comment financer la formation continue ? Comment développer de la formation continue ? formation qualifiante, diplômante, certifiante ?

Les opérateurs publics de formation doivent absolument intégrer dans leur potentiel de formation une capacité importante à répondre aux demandes de formation continue, et plus encore, initier et susciter auprès des entreprises la demande. De cet engagement dépend la qualité et la crédibilité de tout le système de formation initiale.

En effet, le centre de formation qui développe de la formation continue est, de fait, en relation étroite avec une ou des entreprises. Il construit un programme pour répondre à un besoin qu’il a contribué à identifier, il détermine les critères d’évaluation, il programme et recherche le financement, il gère les ressources. Il développe ainsi une capacité à faire de l’ingénierie de formation, les compétences des formateurs se développent dans un cadre proche de l’entreprise, le partenariat s’instaure progressivement, la confiance et le respect mutuels s’installent durablement entre les professionnels et les formateurs, ce qui au final contribue grandement à améliorer la qualité et l’efficacité de la formation initiale.

En résumé :

Un système de formation continue avec les établissements publics est à mettre en place en urgence. Il devra être accompagné d’une étude approfondie et d’une expérimentation des mécanismes de financement sur quelques bassins d’emploi. Il sera étendu rapidement à tout le territoire pour être opérationnel en phase avec la reprise économique.

50

6. Annexes

Annexe 1 : Termes de références de la mission d’évaluation

Annexe 2 : CV des consultants

Annexe 3 : Liste des personnes rencontrées

Annexe 4 : Tableau synoptique de la démarche d’investigation (principaux acteurs)

Annexe 5 : Documents consultés

Annexe 6 : CDMT de la FP (2007-2009)

Annexe 7 : Budget et CDMT de l’Enseignement secondaire

Annexe 8 : Liens entre les indicateurs et les axes stratégiques

Annexe 9 : Tableau de bord du dispositif d’Observation de la FP et de l’Emploi

Annexe 10 : Critères Qualité de la FP

Annexe 12 : Évaluation de la Formation Continue (Indicateurs)

Annexe 11 : Résumé du rapport d’activité 2010 de l’ATFP

Annexe 13 : CR de visites dans la région de Nabeul

(centre sectoriel des Arts du Feu et CFA de Kélibia 22 juillet 11)

Annexe 14 : Projet d’organisation de la 3ème phase de la mission

Annexe 15 : Annexes complémentaires après restitution

A15-1 : Programme de la journée de restitution

A15-2 : Diaporama de présentation des résultats

A15-3 : Note de synthèse du rapport final

A15-4 : Liste des participants au séminaire de restitution

UNION EUROPEENNE DELEGATION EN TUNISIE

TERMES DE REFERENCES

EVALUATION FINALE DES PROGRAMMES D'APPUI BUDGETAIRE SECTORIEL EDUCATION SECONDAIRE ET

MANFORM II

DPS 2011/260582 Version 1

Mars 2011

2

Tables des matières

1. CONTEXTE

2. MANDAT ET OBJECTIFS

3. METHODOLOGIE

4. ORGANISATION DE LA MISSION ET CALENDRIER

4.1 Phase de démarrage

4.2 Phase de terrain

4.3 Phase de restitution

4.4 Calendrier indicatif

5. COMPOSITION DE L’EQUIPE ET PROFIL DES EXPERTS

6. RAPPORTS

7. INFORMATION ADMINISTRATIVE

ANNEXES

Annexe I: Documents essentiels pour l'évaluation

Annexe II : Présentation et structure du rapport final

Annexe III – Informations méthodologiques

Annexe IV – Modèle de résumé de rapport d'évaluation du CAD

3

1. CONTEXTE

Dans ses stratégies de développement, la Tunisie a misé sur le développement de ses

ressources humaines étant considérées comme sa principale ressource pour la poursuite

de son œuvre de développement.

Cette orientation s'est consolidée en mettant l'accent sur le potentiel humain en tant que

facteur de production et à travers le rôle attribué à l'acquisition du savoir et la

connaissance comme facteur de croissance vue l’évolution rapide des mutations

technologiques et les nouvelles contraintes apparues au niveau des économies à l’échelle

mondiale.

Consciente du rôle clef des ressources humaines dans l’impulsion de la croissance, la

Tunisie s’est orientée vers le développement du secteur de l’éducation, de la formation

professionnelle et de l’enseignement supérieur, principal pourvoyeur des compétences et

des qualifications afin qu’il soit au service du développement et en réponse aux besoins

de l’économie.

C'est dans ce cadre que l'Union européenne a appuyé la Tunisie dans la mise en œuvre

des réformes du secteur de l'éducation au sens large. Divers programmes ont été lancés

avec une contribution financière qui s'élève, à cette date, à 193 Mio EUR.

Ces termes de références concernent l'évaluation finale de deux programmes inscrits dans

le PIN 2007-2010: le "Programme d'appui à la réforme de l'enseignement secondaire" et

le "Programme de mise à niveau de la formation professionnelle II" (MANFORM II). Il

s'agit de deux programmes d'appui budgétaires sectoriels d'un montant de 30 Mio EUR

chacun.

Programme Education secondaire :

Il s'agit d'un programme qui a démarré en 2006 et dont la mise en œuvre a pris fin en

2009.

Le programme a porté sur les axes de réforme suivants :

− l’amélioration des méthodes, des outils et des structures pédagogiques en vue

d’accroître les performances et l’équité du système,

− la progression quantitative et qualitative de l’usage des technologies de

l’informatique et de la communication,

4

− le développement professionnel des acteurs et le renforcement de la vie scolaire et

de la décentralisation,

− l’amélioration du pilotage et le développement de la fonction recherche.

Programme MANFORM II :

Ce programme a démarré en 2007 et sa mise en œuvre a pris fin en décembre 2010. Le

programme a appuyé la poursuite de la réforme du secteur de la formation professionnel

en particulier sur les axes suivants :

− la promotion de la formation professionnelle pour en faire une voie de réussite,

− la poursuite de la mise à niveau du système de formation professionnelle,

− le développement de l’efficience du dispositif de la formation professionnelle.

2. MANDAT ET OBJECTIFS

L'objectif de l'évaluation est de vérifier dans quelle mesure les appuis budgétaires

sectoriels concernés ont contribué à appuyer le partenaire dans la mise en œuvre de sa

stratégie sectorielle et dans l'amélioration de ses politiques, stratégies et ses dépenses

visant à réaliser des résultats et des impacts durables sur la croissance et le

développement.

Cette évaluation portera à la fois sur le choix de l'instrument de financement selon l'appui

budgétaire sectoriel pour la réalisation de ces deux programmes ainsi que sur leurs

impacts sur les bénéficiaires institutionnels et les bénéficiaires finaux.

3. METHODOLOGIE

Sur base de ces TdR et des éléments fournis dans l'annexe 3 (informations

méthodologiques), les soumissionnaires sont appelés à présenter une proposition

technique succincte (maximum 3 pages) et devront formuler dans leur offre des

suggestions précises sur l'approche de la mission, notamment en ce qui concerne

l'élaboration des paramètres d'évaluation de l'efficacité et de l'impact du programme ainsi

que sur les personnes-ressources et services à consulter.

L'évaluation suit une méthodologie spécifique consistant en trois étapes :

− La première étape vise à évaluer l'apport de l'aide budgétaire sectorielle et son

effet éventuel sur les politiques sectorielles ainsi que les changements induits dans

le financement et le cadre institutionnel pour les dépenses publiques, la gestion

5

des finances publics, la gestion sectorielle/stratégique ainsi que la mise en œuvre

des politiques sectorielles.

Plus spécifiquement, l'évaluation portera sur l'analyse du processus

d’identification des deux programmes, la pertinence et la cohérence des objectifs

des deux programmes avec les stratégies sectorielles, la justification du montant

de l'appui et la pertinence de la répartition des tranches de décaissement en

relation avec les conditions, la pertinence des indicateurs retenus ainsi que sur la

vérification des complémentarités entre les différents programmes réalisés dans le

secteur et financés par la Commission et/ou d'autres bailleurs de fonds.

− La deuxième étape vise l'évaluation des résultats qui sont réalisées par le

bénéficiaires et liés aux objectifs explicites des deux programmes. L'analyse

portera en particulier sur la réalisation des objectifs de chacun des programmes et

des écarts éventuels constatés et leurs raisons, les améliorations constatées pour le

maintien du respect des critères d'éligibilité au financement selon l'appui

budgétaire sectoriel (ABS) ainsi que le respect des conditions spécifiques prévus

par les deux conventions de financement, sur les systèmes de pilotage et de suivi,

l'efficacité et la pertinence des appuis budgétaires complémentaires engagés, sur

les améliorations éventuels apportés par l'instrument ABS notamment sur les

aspects de coordination des bailleurs de fonds et de la concertation avec les

bénéficiaires et les parties prenantes, la visibilité donnée aux réalisations des deux

programmes et à l'appui de l'UE en la matière et sur leurs impacts immédiats et

futurs.

− La troisième étape est une synthèse des deux précédentes et devrait donner lieux à

des conclusions sur les changements induits par les deux programmes dans le

pays.

D'une manière générale, l'évaluation devrait être réalisée en mesurant les effets

escomptés de la mise en œuvre d'un appui budgétaire à savoir les apports/inputs de l'ABS,

les outputs directs, les résultats et les impacts. Une liste de questions d'évaluation est

donnée à titre indicatif en annexe.

De façon plus spécifique, les experts devront effectuer les tâches décrites ci-dessous:

6

La conception du programme

• Analyser le processus d’identification de ce programme en vérifiant dans quelle

mesure le champ et les objectifs de ce programme étaient pertinents et cohérents

avec l’agenda tunisien de réforme et les objectifs de coopération de la

Commission (en référence au PIN) ;

• Vérifier la pertinence du choix de l'instrument PAPS "programme d'appui à la

politique sectorielle" par rapport aux problématiques et enjeux de la réforme du

secteur de l’éducation et de la formation en Tunisie ;

• Evaluer la pertinence des indicateurs de vérification demandés dans la matrice des

critères de performance, au regard des objectifs poursuivis et des résultats

escomptés;

• Evaluer la pertinence des conditions spéciales, en particulier en ce qui concerne le

cadrage macro-économique et sectoriel;

• Analyser les liens entre les programmes respectifs de la Commission et des

principaux bailleurs de fonds dans le secteur, notamment la Banque mondiale et la

BAD;

L’impact estimé/attendu à court et moyen terme du programme

• Apprécier la réalisation des objectifs globaux et spécifiques inscrits dans la

Convention de Financement, en s’attachant à expliquer, le cas échéant, les écarts

constatés ;

• Analyser l’efficacité des mesures, c’est à dire la contribution des mesures

réalisées à l’achèvement de l’objectif visé par chaque composante, en s’attachant

à expliquer, le cas échéant, les écarts constatés ;

• Evaluer dans quelle mesure le programme a permis d’accélérer la réforme du

système d'éducation et de formation tunisien ;

• Formuler un avis sur l'impact immédiat et envisageable à plus long terme des

activités du programme ;

La gestion et le suivi du programme

• Apprécier le dialogue entre la Commission (Siège et Délégation) et les autorités

tunisiennes (MDCI et Autorités sectorielles) ;

• Apprécier l’apport de l’équipe d’experts à la gestion du programme ;

• Evaluer l’appropriation du programme par les autorités tunisiennes et la

coordination des différents acteurs tunisiens concernés ;

7

Plus spécifiquement, une appréciation qualitativement justifiée est à formuler

concernant:

− Les changements opérés en matière de politique sectorielle, institutionnelle,

réglementaire, de capacités institutionnelles et de systèmes de pilotage et de

monitoring interne;

− Le choix des indicateurs de performance retenus et leur pertinence, la qualité des

sources de vérification et du système d'information;

− Le choix et la pertience des modalités de l'appui en termes de tranches fixes et

variables;

− La pertinence et l'efficacité des assistances techniques d'appui et de suivi des

programmes;

− La pérennité des actions structurantes mises en œuvre par le programme;

− La qualité de l'appropriation des instruments d'appui sectoriel;

− Le positionnement de l'appui sectoriel par rapport aux autres formes d'aide

bilatérale et multilatérale;

− La visibilité de l'aide européenne comparée aux autres formes d'aides extérieures;

− L'équité promue par la réforme;

− Le système d'orientation mis en place et ses passerelles;

− La professionnalisation de la gestion des établissements scolaires;

− Le phénomène d'exclusion;

− La programmation et la gestion budgétaire à base de l'instrument CDMT et

approche GBO.

4. ORGANISATION DE LA MISSION ET CALENDRIER

4.1 Phase de démarrage

Une première mission de démarrage sera prévue pour l'ensemble de l'équipe d'évaluation

pour une durée d'une semaine. L'objectif de cette mission est de finaliser la méthodologie

de l'évaluation sur la base des documents et informations qui seront collectés.

Lors de cette phase, l'équipe devra prendre contact avec le Ministère du Planification et

de la Coopération Internationale (MPCI), le Ministère de l'Education (ME) et le

Ministère de la Formation Professionnelle et de l'Emploi (MFPE) et plus particulièrement

avec les personnes qui seraient désignées comme vis-à-vis pour les besoins de la présente

mission d'évaluation.

8

A la fin de cette phase, l'équipe devra présenter un rapport comportant les éléments

suivants :

− une analyse de la documentation et des informations qui seront collectées,

− la méthodologie d'évaluation finalisée avec une ébauche des questions à traiter de

manière plus détaillée au cours de la phase sur terrain,

− un plan de travail et le calendrier détaillé des rencontres à réaliser sur terrain,

− l'identification des sources d'informations complémentaires et nécessaire à la

réalisation de l'évaluation,

− la répartition des tâches entre les membres de l'équipe.

Cette phase débutera par une réunion de briefing à la Délégation de l'Union Européenne

ainsi qu'une réunion avec le MPCI et les ministères bénéficiaires. Une réunion de

débriefing est prévue à la fin de la mission pour présenter une première ébauche des

éléments cités ci-haut. L'équipe devra présenter un aide mémoire sur le déroulement de

cette première mission.

4.2 Phase de terrain

La mission sur terrain durera 3 semaines et démarrera après approbation du rapport de la

phase 1. La mission sur terrain se fera conformément à la méthodologie et le calendrier

qui seront approuvés.

Comme pour la mission de démarrage, une réunion de briefing et une réunion de

débriefing auront lieu avec la DUE et les ministères concernés.

A la fin de la mission (deux jours avant la réunion de débriefing), un aide mémoire sera

présenté à la DUE comportant des éléments de synthèse des résultats préliminaires de

l'évaluation.

4.3 Phase de restitution

Après approbation du rapport de la deuxième phase, un atelier sera organisé au cours de

cette troisième phase pour présenter les résultats de l'évaluation des deux programmes, la

présentation des pistes d'amélioration futures en termes de stratégie à adopter pour le

secteur ainsi que des recommandations pour une meilleure utilisation/mise en œuvre des

appuis budgétaires sectoriels dans le domaine de l'éducation.

L'équipe d'évaluation sera chargée, dans le cadre de cette mission, de préparer les

documents nécessaires à l'atelier et d'assurer l'animation des séances de travail. L'atelier

sera organisé en une journée.

9

Un rapport devra être présenté à la fin de l'atelier pour présenter les recommandations qui

seraient proposées par les participants.

4.4 Calendrier indicatif

Le présent calendrier est donné à titre indicatif. La première mission démarrera le 16 mai

2011.

Le contrat sera établi sur une base forfaitaire et aura une durée de 12 mois à partir de la

date de sa signature.

Le programme suivant est proposé à titre purement indicatif. Toutefois, un nombre

minimum de 36 jours de travail sur terrain est exigé pour chacun des experts.

Le nombre d'homme/jours nécessaire à cette mission est estimé à 153 h/j.

Durée Phase Date de début Travail sur terrain Rédaction rapports

(indicatif) Phase 1 16/05/2011 6 5 Phase 2 13/06/2011 18 5 Phase 3 05/09/2011 12 5

Durées totales 36 15 5. COMPOSITION DE L’EQUIPE ET PROFIL DES EXPERTS

L’évaluation sera réalisée par une équipe composée de trois expert(e)s dont le profil doit

répondre aux critères suivants considérés comme absolument nécessaires :

1- Un(e) expert sénior, chef de mission, avec au moins 10 ans d'expérience générale, dont

au moins 5 ans dans la gestion des projets et plus particulièrement dans la conduite de

missions d'évaluation de projets internationaux similaires de préférence dans le domaine

des systèmes de l'éducation.

2- Un(e) expert sénior spécialiste de l'éducation, avec au moins 10 ans d'expérience

générale, dont au moins 5 ans dans la mise en œuvre et/ou le suivi et évaluation de

programmes de réformes dans le secteur de l'éducation.

3- Un(e) expert sénior spécialiste de la formation professionnelle, avec au moins 10 ans

d'expérience générale, dont au moins 5 ans dans la mise en œuvre et/ou le suivi et

évaluation de programmes de réformes dans le secteur.

10

Chacun des experts devrait avoir les qualifications additionnelles souhaitables suivantes:

− Formation de niveau universitaire;

− Bonne connaissance de la préparation de programmes de réforme

sectorielle de préférence dans le secteur de l'éducation, y compris en

utilisant l'instrument de l'appui budgétaire sectoriel

− Maîtrise de la langue française écrite et orale

− Une expérience professionnelle dans la région méditerranéenne et en

particulier en Tunisie.

Aucun expert ayant participé à la préparation, à la mise en œuvre et au suivi de l'un des

deux programmes n’est autorisé à présenter sa candidature.

6. RAPPORTS

Les rapports suivants, pour chacun des programmes, devront être soumis à la fin de

chacune des phases en version électronique (1 CD Rom) et en version papier en six

exemplaires.

− Rapport de démarrage : ce rapport devra contenir les éléments cités dans le

paragraphe 4.1.

− Rapport de la phase 2 : le rapport devra contenir les éléments et les résultats de

l'évaluation tels que décrits dans le paragraphe 3.

− Rapport de la phase 3 : le rapport devra contenir les éléments et les résultats de

l'évaluation tels que décrits dans le paragraphe 4.3.

Chacun de ces rapports sera soumis en version provisoire au plus tard 10 jours

calendaires après chacune des phases. La DUE se réserve un délai de 15 jours calendaires

pour la transmission des rapports aux bénéficiaires et pour le recueil de leurs

commentaires éventuels qui seront transmis au contractant.

Ces rapports devront être soumis de nouveau en version finale au plus tard 10 jours

calendaires après réception et intégration des commentaires éventuels qui seraient

présentés par les partenaires et la DUE.

Le suivi du déroulement de la mission et l'approbation des rapports seront fait par un

groupe de référence constitué de représentant de la DUE, du MPCI et des ministères

bénéficiaires.

11

Les rapports doivent être rédigés en langue française et comporter la mention suivante sur

la page de couverture : "Lettre de marché n … du contrat cadre Bénéficiaire – Evaluation

finale des programme d'appui budgétaire sectoriels Education Secondaire et MANFORM

II". Tous les rapports et communications devront être envoyés à :

Monsieur Massimo Mina Chef de la Section Opération II Délégation de l'Union européenne en Tunisie Rue du Lac Biwa, Les Berges du Lac BP 150 1053 Tunis, Tunisie Les versions électroniques des rapports devront être soumises à : massimo.mina@eeas.europa.eu et en copie de l'envoie aux adresses suivantes : nabil.ben-nacef@eeas.europa.eu et abdelaziz.lyamouri@eeas.europa.eu. 7. INFORMATION ADMINISTRATIVE

Billets d'avion : Europe-Tunisie-Europe : 9 aller - retour maximum

Frais pour l'organisation de l'atelier de restitution :

Organisation d'un atelier pour présenter les résultats de l'évaluation. Nombre de

participants à prévoir : 50 participants. Location d'une salle dans un hôtel avec pause café

et déjeuner pour 50 personnes + Documentation.

Modalités fiscales et de TVA :

Conformément aux règlements de base du Conseil qui régissent les programmes d’aide

extérieure de la CE, la TVA et toutes autres taxes locales et charges sont exclues du

financement communautaire.

Confidentialité :

Toutes les activités confiées aux experts externes devront être exécutées de manière

objective et fiable, conformément aux règles de déontologie de la profession. Les

Consultants ne doivent tirer aucun profit personnel de ce contrat ni en faire profiter des

tiers, ne pas faire mauvais usage et ne pas divulguer toute information obtenue durant

l’exécution du contrat. Aucune information, matériel, rapport ou autre ne pourra être

communiquée à l’extérieur sans l’autorisation préalable de la Commission Européenne.

Si une note confidentielle doit être transmise par les experts à la Commission, cette note

sera transmise à la Délégation à l’adresse suivante :

Monsieur Massimo Mina Chef de la Section Opération II Délégation de l'Union européenne en Tunisie Rue du Lac Biwa, Les Berges du Lac BP 150 1053 Tunis, Tunisie Email : massimo.mina@eeas.europa.eu

12

Annexe I : Documents essentiels pour l'évaluation Liste indicative à adapter/compléter en fonction des besoins:

• Rapports de suivi et d'évaluation antérieurs • Document de stratégie sectorielle pour les périodes couvertes • Documents stratégiques nationaux et sectoriels des pouvoirs publics • Note d'avancement fournies par le Bénéficiaire • Étude d'identification et de formulation du projet • Convention de financement du projet et avenants • Rapport de monitoring externe de la CE; • Notes de décaissement de la DCE;

Tous ces documents sont disponibles à la DCE. • Documents utiles fournis par les partenaires nationaux ( rapports statistiques

annuels) Note : L'équipe d'évaluation doit se procurer tout autre document dont l'analyse pourrait être utile, à l'occasion de ses entretiens avec des personnes qui sont ou ont été associées à la conception, la gestion et la supervision du projet/programme.

13

Annexe II : Présentation et structure du rapport final Le rapport final ne doit pas dépasser 50 pages hors annexes. Les informations complémentaires sur le contexte général, le programme ou des aspects liés à la méthodologie ou à l'analyse figureront dans les annexes. La page de couverture du rapport portera la mention suivante: «La présente évaluation, financée et guidée par la Commission européenne, est présentée par [nom de la société de conseil]. Le rapport ne reflète pas nécessairement les points de vue et opinions de la Commission européenne.» Les principaux points du rapport d'évaluation sont les suivants: 1. Résumé Rédigé de manière condensée, précise et exhaustive, le résumé constitue un élément essentiel du rapport. Il doit être court (pas plus de cinq pages), se concentrer principalement sur l'objet principal ou les points essentiels de l'évaluation, décrire les principaux points analytiques et exposer clairement les grandes conclusions, les enseignements tirés et les recommandations spécifiques. Il doit renvoyer aux pages ou paragraphes correspondants du texte principal. 2. Introduction L'introduction contient une description du projet/programme et de l'évaluation et fournit au lecteur suffisamment d'explications sur la méthode suivie pour lui permettre d'apprécier la crédibilité des conclusions et d'avoir connaissance des éventuelles limites ou faiblesses de l'exercice. 3. Réponses aux questions/constatations Les éléments détaillés de la méthodologie sont présents en annexes VI. Ce point présente les questions d'évaluation et leurs réponses, accompagnées d'éléments de preuve et d'une justification. Le rapport doit s'articuler autour des réponses aux questions d'évaluation, qui recouvrent systématiquement les critères d'évaluation du CAD, à savoir pertinence, efficience, efficacité, impact et viabilité, ainsi que les critères spécifiques à la Commission que sont la cohérence et la valeur ajoutée. Dans le cadre d'une telle approche, les critères seront traduits en questions spécifiques, ce qui contribuera à les rendre plus précis et plus accessibles et permettra de structurer les principales préoccupations des parties prenantes, de manière à optimiser l'objet et l'utilité de l'évaluation. 4. Visibilité Le consultants procèderont à une évaluation de la stratégie et des activités du projet dans le domaine de la visibilité, de l'information et de la communication et apprécieront les résultats et l'impact de ces actions tant dans le pays bénéficiaire que dans les pays de l'Union européenne. 5. Appréciation générale Ce point résume l'ensemble des réponses aux questions d'évaluation en un jugement global sur le projet/programme. La structure précise de l'appréciation générale doit être affinée durant le processus d'évaluation. Ce point doit présenter l'ensemble des constatations, conclusions et enseignements de manière à refléter leur importance et à faciliter la lecture. Sa structure ne doit pas être basée sur les questions d'évaluation, le cadre logique ou les sept critères d'évaluation. 6. Conclusions et recommandations 6.1. Conclusions Ce point présente les conclusions relatives à chaque question. Celles-ci doivent être regroupées afin de donner un aperçu de l'objet évalué. Note: La structure de ce point ne doit pas suivre l'ordre des questions ou des critères d'évaluation (efficacité, efficience, cohérence, etc.).

14

Ce point doit contenir des références aux conclusions (réponses aux questions d'évaluation) ou aux annexes et montrer comment les conclusions découlent des données, des interprétations et des critères d'analyse et de jugement. Le rapport doit comporter une autoévaluation des limites méthodologiques susceptibles de restreindre la portée ou l'utilisation de certaines conclusions. La partie du rapport consacrée aux conclusions ne présente pas seulement les réussites constatées, mais aussi les points appelant une réflexion sur d'éventuelles modifications ou un changement d'orientation de l'action. L'équipe d'évaluation présente ses conclusions de manière équilibrée, sans favoriser systématiquement les conclusions positives ou négatives. Un paragraphe ou une sous-rubrique doit, de préférence, résumer les 3 ou 4 grandes conclusions, classées par ordre d'importance, tout en évitant d'être répétitif. Cette manière de faire permet de mieux faire passer les messages qui sont adressés à la Commission. Si possible, le rapport d'évaluation identifie un ou plusieurs enseignements transmissibles, qui sont mis en évidence dans le résumé et présentés à l'occasion de séminaires ou de réunions appropriés afin de pouvoir être exploités et diffusés. 6.2. Recommandations Les recommandations visent à améliorer ou à réformer le projet/programme dans le cadre du cycle en cours, ou à préparer l'élaboration d'une nouvelle action lors du cycle suivant. Note: Les recommandations doivent être liées aux conclusions, sans les reproduire. Une recommandation découle directement d'une ou de plusieurs conclusions. La valeur finale d'une évaluation dépend de la qualité et de la crédibilité des recommandations proposées. Les recommandations doivent donc être aussi réalistes, opérationnelles et pragmatiques que possible. En d'autres termes, elles doivent soigneusement tenir compte du contexte du projet, ainsi que des ressources disponibles pour leur mise en œuvre à la fois localement et au sein de la Commission. Elles peuvent concerner les aspects politiques, organisationnels et opérationnels tant pour les partenaires locaux que pour la Commission, les conditions préalables susceptibles d'être attachées aux décisions de financement relatives à des projets similaires, et des questions générales résultant de l'évaluation en matière de politiques, technologies, outils, développement institutionnel, ainsi que des stratégies régionales, nationales, ou sectorielles. Les recommandations doivent être soigneusement groupées et classées par ordre de priorité, ciblées en fonction d'auditoires précis à tous les niveaux, en particulier au sein de la Commission (le gestionnaire du projet/programme et le gestionnaire de l'évaluation pourront apporter des conseils à cet égard). Annexes du rapport Le rapport doit comporter les annexes suivantes:

• les termes de référence de l'évaluation; • le nom des évaluateurs et de leurs sociétés (leurs CV, résumés et limités à une

page par personne, doivent être fournis); • une description détaillée de la méthode d'évaluation comprenant: les options

choisies, les difficultés rencontrées et les limites de l'évaluation, le détail des outils et des analyses;

• la liste des indicateurs de performance ( déjà dans l'annexe IV); • la carte de la zone géographique couverte par le programme (s'il y a lieu); • la liste des personnes/organisations consultées;

15

• les ouvrages et la documentation consultés; • d'autres annexes techniques (analyses statistiques, tables des matières et chiffres); • le résumé CAD suivant le modèle présent à l'annexe IV.

16

Annexe III – Informations méthodologiques

METHODE D’EVALUATION DES OPERATIONS D ’AIDE

BUDGETAIRE AU NIVEAU DES PAYS

Informations méthodologiques

Avril 2009

17

Les conseils méthodologiques donnés dans ce document sont basés sur

une «Note d'orientation» (NO). Ce document donne à l’équipe

d’évaluation des indications sur la manière de procéder aux évaluations

des opérations d’aide budgétaire.

Dans le cadre de cette évaluation, ce document est donné à titre

purement indicatif afin d'orienter les experts pour adopter la

méthodologie qu'il faut.

18

1. Introduction

La méthode d’évaluation des opérations d’aide budgétaire au niveau des pays tient explicitement compte du fait que l’aide budgétaire est une contribution à la mise en œuvre des politiques nationales et de dépenses publiques d’un gouvernement partenaire. Cela implique que les résultats finaux et les impacts de l’ABG/ABS dépendent principalement de la qualité et de l’efficacité des stratégies et actions du gouvernement.

La méthode d’évaluation proposée consiste en un cadre analytique à cinq niveaux (inputs, outputs directs, outputs (induits) de la stratégie gouvernementale, résultats et impacts – voir NO – graph. 4 p. 14), qui s’articule autour de trois étapes/composantes (voir NO section 4). L’étape/composante 1 consiste en une évaluation des inputs, des outputs directs et des outputs induits clairement attribuables à l’aide budgétaire. L’étape/composante 2 se concentre sur les résultats et impacts de la stratégie gouvernementale que l’ABG/ABS entend soutenir. L’étape/composante 3 porte sur un examen des liens entre les processus d’ABG/ABS et les résultats et impacts de la stratégie gouvernementale.

Les évaluations de l’aide budgétaire devraient être globales, ce qui signifie qu’elles devraient couvrir toutes les opérations d’aide budgétaire d’un pays donné pendant une période donnée. Non seulement parce qu’il est conceptuellement très difficile, voire impossible, d’attribuer les effets individuels des opérations d’aide budgétaire à une seule agence de développement, mais aussi parce qu’il est désormais établi que l’aide budgétaire devrait être fournie à travers un cadre harmonisé et unifié, dont les effets combinés devraient être évalués strictement ensemble.

En outre, les évaluations de l’aide budgétaire doivent être menées conjointement par les gouvernements bénéficiaires et les donateurs qui la fournissent. Les résultats et impacts finaux de l’aide budgétaire reflètent non seulement les choix conceptuels faits par les agences de développement, mais aussi la nature des accords de gestion commune entre les gouvernements et les partenaires de développement, le dialogue politique et l’efficacité des stratégies gouvernementales soutenues par l’ABG ou l’ABS.

Toutefois, les évaluations peuvent et doivent examiner certains des effets spécifiques éventuels produits par les opérations d’aide budgétaire prises individuellement sur les mesures incitatives et les choix stratégiques.

2. Les Questions d’Evaluation

Pour mettre cette méthodologie en pratique, l’équipe d’évaluation devrait se concentrer sur les questions d’évaluation (QE) clés, telles que proposées dans les TdR.

Pour permettre d’analyser et de répondre à chaque question d’évaluation, des critères de jugement et des indicateurs clairs doivent être formulés. Un critère de jugement : (i) spécifie et désagrège l’objet de la question; (ii) donne au préalable le jugement sur lequel les réponses aux QE seront données. Un indicateur est un aspect (caractéristique ou variable) qui doit être mesuré pour répondre à la question d’évaluation. 2.1. Questions d’évaluation pour l’ABG et l’ABS

Les TdR comprennent un tableau avec une liste des QE obligatoires. Le présent document reprend ce tableau et fait des propositions de critères de jugement (CJ) pour chacune d'entre elles. Les CJ ne sont pas obligatoires, mais visent à couvrir la plupart des questions et objets possibles de l’évaluation des ABG/ABS, afin de donner un exemple complet aux évaluateurs.

19

Dans les évaluations pratiques, les CJ doivent être adaptés (i) au contenu politique et à l’objectif de l’aide budgétaire fournie à un pays spécifique et (ii) au contexte politique, économique et social de ce pays particulier. Les CJ doivent être réduits, fusionnés ou scindés et reformulés en fonction des priorités du cadre spécifique. D’autres CJ peuvent être formulés.

Cette tâche doit incomber à l’équipe d’évaluation, en consultation avec le groupe de gestion et le comité de pilotage durant la phase de lancement de l’évaluation (voir chapitre 6.2.1. des TdR). Cela implique un réexamen attentif et une sélection des CJ de nature à refléter l’objet réel de l’évaluation. Les CJ inclus dans le tableau ci-dessous sont de nature standard et visent principalement à clarifier le contenu de la question.

20

Tableau 1 Liste des questions d’évaluation et des critères de jugement possibles

Niveau du CE

Questions d’évaluation clés Critères de jugement possibles

1.1. Quels inputs ont été fournis et dans quelle mesure correspondent-ils aux inputs ABG/ABS envisagés ?

i. Les fonds engagés par les PD sont déboursés et transférés à la Banque Centrale comme prévu.

ii. Il existe un accord sur le s Cadres d’évaluation des performances (CEP) alignés sur les systèmes gouvernementaux qui peuvent aussi être suivis annuellement.

iii. Les PD ont mis en place les capacités appropriées et sont convenus, avec le gouvernement, de mécanismes adéquats pour assurer un dialogue politique coordonné cohérent avec les priorités de développement clés du pays.

iv. Les PD ont mis en place les moyens et les mécanismes appropriés pour assurer une harmonisation progressive des opérations d’aide budgétaire.

v. Les initiatives d’assistance technique et de renforcement des capacités institutionnelles ont été prévues de manière coordonnée, et les mécanismes de gestion coordonnée entre PD et gouvernement sont en place.

1.2. Dans quelle mesure les opérations d’aide budgétaire mises en place correspondent-elles au cadre stratégique et politique du pays et aux stratégies de développement globales des bailleurs de fonds ?

i. Les objectifs et l’approche de l’ABG/ABS sont cohérents avec – et pertinents pour – le cadre stratégique et politique du pays (politiques économiques et sociales).

ii. Les objectifs et l’approche de l’ABG/ABS sont pertinents par rapport aux stratégies globales des PD – et ont été ajustés pour répondre aux changements les concernant.

iii. Les objectifs et l’approche de l’ABG/ABS sont cohérents avec les objectifs de la Déclaration de Paris concernant l’appropriation, l’harmonisation et l’alignement

1.3. Dans quelle mesure la conception (notamment la combinaison d’inputs ABG/ABS) est-elle adaptée au contexte politique, économique et institutionnel spécifique du pays ?

i. Les conditions d’entrée favorables aux opérations d’aide budgétaire étaient en place au moment de la conception de ces opérations d’ABG/ABS, en particulier concernant l’engagement politique et de la dynamique positive dans la GFP.

ii. La conception de l’ABG/ABS dans son ensemble (c’est-à-dire l’allocation quantitative et qualitative des inputs, interactions attendues entre ceux-ci, leur priorisation explicite et implicite) répond aux forces et faiblesses du gouvernement en matière d’instauration d’un système de GFP et de politiques macro et sectorielles solides.

iii. La conception des opérations d’ABG/ABS est flexible et peut être adaptée en réponse aux évolutions qui peuvent survenir, en fonction des informations rétroactives sur les liens étroits entre l'aide budgétaires et les politiques gouvernementales, et les mécanismes d’apprentissage.

iv. La conception de l’ABG/ABS inclut des éléments spécifiques taillés sur mesure en fonction des priorités des principaux fournisseurs d’ABG/ABS (par ex. l’accent sur le dialogue politique et de s conditionnalités spécifiques).

21

2.1. Dans quelle mesure l’aide budgétaire a-t-elle contribué à accroître la taille et la part du financement extérieur soumis au processus budgétaire national, et à améliorer globalement la prévisibilité des flux d’aide ?

i. Les inputs financiers de l’ABG/ABS ont été fournis efficacement.

ii. La taille et la part des financements extérieurs transférés au Trésor public du pays partenaire ont augmenté.

iii. La taille et la part des financements extérieurs soumis au processus budgétaire gouvernemental et au système de GFP ont augmenté.

iv. La prévisibilité des versements d’aide budgétaire et des flux d’aide globaux a augmenté (écart annuel de l’aide budgétaire réelle par rapport aux prévisions fournies par les agences donatrices; ponctualité des versements des donateurs dans l’année / respect des estimations trimestrielles globales1)

2.2. Dans quelle mesure l’aide budgétaire a-t-elle contribué à créer un cadre de dialogue politique axé sur les stratégies et priorités gouvernementales clés ?

i. L’accent du dialogue politique a été déplacé vers des questions plus stratégiques, notamment la stratégie gouvernementale, la gestion de l’aide et l’évaluation des performances.

ii. Le Cadre d’évaluation des performances, soutenu par des systèmes de suivi adéquats, est la base de la responsabilité mutuelle et du partenariat.

iii. Le degré d’implication des ministères compétents augmente, tant au niveau central que sectoriel, de même que celui des institutions décentralisées.

2.3. Dans quelle mesure l’aide budgétaire a-t-elle contribué à fournir des inputs non financiers, tels que l’assistance technique et le renforcement des capacités, qui sont stratégiques et axés sur les priorités du gouvernement ?

i. Les inputs non financiers de l’ABG/ABS ont été fournis de manière efficace.

ii. L’AT et les initiatives de renforcement des capacités sont de plus en plus coordonnées et axées sur les priorités gouvernementales stratégiques essentielles.

2.4. Dans quelle mesure l’aide budgétaire a-t-elle contribué à l’harmonisation et à l’alignement de l’aide extérieure, et réduit les coûts de transaction au fil du temps ?

i. Le niveau global d’harmonisation des PD a augmenté. ii. L’alignement général de l’aide extérieure sur le cycle

budgétaire du gouvernement (systèmes de gestion financière et de passation de marchés publics) s’est renforcé.

iii. Les faits montrent une réduction des coûts de transaction liés à la fourniture de l’aide2.

1 Voir aussi Dépenses publiques et responsabilité financière – Cadre de mesure de la performance en GFP (juin 2005), secrétariat PEFA, Banque mondiale, Wash. DC. Indicateur D- 1 «Predictability of Direct Budget Support». 2 Les éléments indiquant une réduction des coûts de transaction devraient être évalués en tenant compte de l’alignement des procédures aux différents stades de la négociation, du versement, de l’utilisation/mise en œuvre et du suivi de l’aide (par ex. systèmes de passation de marchés publics non standard, effets de fuite des cerveaux au sein des structures de gestion de projets parallèles, etc.). Voir aussi les domaines mentionnés dans les Guiding Principles and Good Practices for Budget Support de l’OCDE-CAD au titre 3 «Transaction costs incurred by budget support should be minimised». OCDE/CAD (2006). Harmonising Donor Practices for Effective Aid Delivery, Volume 2. En outre, le passage d’un instrument à l’autre pourrait entraîner des coûts de conversion et les différents types de transaction pourraient s’accompagner de risques.

22

3.1. Dans quelle mesure la discipline fiscale et la gestion économique se sont-elles améliorées, et quelle a été la contribution de l’aide budgétaire ?

i. Des améliorations au niveau des politiques fiscales et monétaires ont été constatées et les objectifs politiques associés ont été réalisés (exigences standard du FMI).

ii. Le financement budgétaire s’est accru (réduction des arriérés, du découvert de la Banque centrale, des emprunts domestiques et augmentation de la durabilité de la dette).

iii. Les politiques directement reliées à la balance des paiements et aux taux de change ont été améliorées garantissant stabilité et compétitivité.

3.2. Dans quelle mesure la gestion budgétaire et la GFP globale se sont-elles améliorées et dans quelle mesure le budget a-t-il contribué à ces améliorations ?

i. La qualité du système de GFP et des résultats a augmenté, selon le PEFA et/ou des indicateurs similaires3.

ii. Des réformes pertinentes de la GFP ont été mises en œuvre ou sont en cours de mise en œuvre afin d’améliorer les systèmes et les résultats de la GFP4.

3.3. Dans quelle mesure la qualité des processus politiques et la mise en œuvre des politiques se sont-elles améliorées (notamment concernant l’appropriation et la transparence), et dans quelle mesure le budget y a-t-il contribué ?

i. L’appropriation et l’initiative gouvernementales dans la définition de nouvelles politiques et stratégies, ou dans la révision de ces dernières, ont augmenté.

ii. La qualité des processus politiques dans les domaines clés concernant les opérations d’ABG/ABS a été améliorée (par exemple, les réformes du secteur social, le cadre de concurrence des entreprises, les politiques publiques,...).

iii. La qualité des consultations, les informations associées et la transparence des processus politiques se sont améliorées.

iv. La capacité du gouvernement à mettre en œuvre les politiques a augmenté, notamment, par la législation, les accords institutionnels et opérationnels.

v. Les systèmes de suivi et d’évaluation destinés à mesurer les indicateurs d’outputs et de résultats se sont améliorés.

3.4. Comment ont évolué le niveau et la composition des dépenses publiques et quelles ont été les principales conséquences pour la production de biens et de services publics ?

i. La composition interne des dépenses publiques s’est améliorée, notamment par l’augmentation du niveau et de la part des dépenses publiques dans les priorités de la politique de développement nationale (y compris toutes les questions transversales et les domaines clés pour les programmes d’ABG/ABS) ; l’amélioration de l’équilibre entre les dépenses récurrentes et de capital; et – dans les dépenses récurrentes – l’équilibre accru entre les dépenses salariales et non salariales.

ii. Renforcement des tendances des indicateurs d’outputs dans les secteurs clés (par ex. nombre accru de salles de classe, meilleure formation des enseignants, etc.)

3 Référence aux indicateurs de performance de la GFP, qui couvrent les six dimensions d’un système de GFP ouvert et ordonné. «1. Crédibilité du budget – Le budget est réaliste et mis en œuvre comme prévu. 2. Exhaustivité et transparence – La surveillance des risques budgétaires et fiscaux est exhaustive et les informations fiscales et budgétaires sont accessibles au public. 3. Budgétisation sur la base des politiques – Le budget est préparé en tenant dûment compte de la politique gouvernementale. 4. Prévisibilité et contrôle de l’exécution du budget – Le budget est mis en œuvre de manière ordonnée et prévisible et il existe des accords pour l’exercice de contrôle et de gestion de l’utilisation des fonds publics. 5. Comptabilité, enregistrement et rapport – Des registres et informations adéquats sont produits, mis à jour et diffusés pour répondre aux obligations en matière de prise de décision, de contrôle, de gestion et de reporting. 6. Contrôle externe et audit – Les dispositifs en matière d’examen des finances publiques et de suivi par l’exécutif fonctionnent. «Dépenses publiques et responsabilité financière – Cadre de mesure de la performance en GFP» (juin 2005), secrétariat PEFA, Banque mondiale, Wash. DC. 4 Dans les évaluations spécifiquement axées sur les opérations de la CE, le degré de conformité avec les exigences de GFP fixées pour les tranches fixes et variables de la CE devrait être pris en compte (par ex. respect des exigences fondamentales de GFP pour la libération de la tranche fixe de la CE et performances réelles par rapport aux indicateurs spécifiques fixés pour la libération de la tranche variable de la CE).

23

3.5. Dans quelle mesure la gouvernance et la redevabilité démocratique se sont-elles renforcées, particulièrement eu égard aux rôles relatifs du Parlement et de la société civile concernant le budget ?5

i. Le rôle du Parlement, du Procureur général, de la Cour des Comptes et de la société civile concernant le processus de budgétisation est mieux défini et répond à la nécessité d’une plus grande redevabilité (rapports, contrôle de la légalité, suivi des actions, informations exhaustives et transparentes).

ii. Des mesures spécifiques anti-corruption dans l’administration publique sont mises en œuvre efficacement et la corruption est poursuivie en justice (ainsi que l’indiquent les tendances des indices internationaux anti-corruption).

iii. Les données améliorées produites grâce aux systèmes de suivi et évaluation procurent des informations enrichissant le débat politique national, notamment au Parlement et à la société civile

3.6 Dans quelle mesure l’État de droit a-t-il été renforcé dans le pays?

i. Le niveau d’indépendance institutionnelle a augmenté (comme l’indique la mise en œuvre efficace de changements institutionnels essentiels et la perception de la société civile).

ii. Le nombre, la diversification, l’efficacité et l’accessibilité des tribunaux ont été renforcés (comme indiqué par de s changements institutionnels réels et les tendances à la baisse pour : la durée et le nombre de poursuites et procès, dans des secteurs spécifiques ; les affaires abandonnées en raison des coûts juridiques trop élevés ; les affaires concernant les litiges relatifs aux droits de propriété et aux paiements pour biens et services fournis, etc.).

5 On suppose que la responsabilité à la fois politique et administrative peut être renforcée par la diffusion d’informations, et par le plaidoyer et la mobilisation des groupes de la société civile. Dans ce cadre, certains PD, surtout ceux engagés dans des opérations d’ABG/ABS, poursuivent des stratégies anti-corruption et des actions visant à augmenter la redevabilité politique et administrative par d’autres moyens complémentaires, notamment la fourniture d’une AT pour soutenir les institutions chargées de rendre des comptes (agences d’audit, parlements, etc.) et l'assistance aux organisations de la société civile engagées dans ces questions.

24

4.1. Comment l’économie, et en particulier les entreprises, ont –elles agi et interagi avec l’environnement économique et institutionnel ? Pour l’ABS, cette question soulignera la relation entre le contexte économique global et la performance sectorielle.

i. Amélioration des indicateurs économiques de base (stabilité, croissance, investissement, commerce, parts des secteurs dans le PIB, PIB par habitant,...).

ii. Les performances des secteurs clés se sont améliorées en garantissant des changements structurels et durables.

iii. Les infrastructures économiques et les services, notamment financiers, sont devenus plus compétitifs.

iv. Les secteurs des petits propriétaires, notamment l’agriculture et les PME dans les régions marginales, ont réagi positivement aux changements et renforcé la participation des plus démunis à la croissance économique (pauvreté monétaire)

4.2. Comment la richesse globale (impact), notamment la sécurité des citoyens et l’accès aux services (résultat) des groupes cibles, a-t-elle évolué au fil du temps (par exemple, concernant les secteurs sociaux clés, en particulier l’éducation et la santé et/ou la justice pour les entrepreneurs, tous les citoyens, et surtout la population à bas revenus) ? Pour l’ABS, cette question portera sur les secteurs spécifiques concernés.

i. Les tendances relatives aux indicateurs de résultats sélectionnés montrent des améliorations claires en matière d’accès et de couverture des services sociaux de base (par ex. les indicateurs OMD pertinents, les taux de scolarisation accrus, la scolarisation accrue par groupe social et par genre, l’accès accru aux services de santé, par région et groupe,...).

ii. Les tendances relatives aux indicateurs d’impact (par ex. les indicateurs OMD pertinents, les taux de morbidité et de mortalité, les taux d’alphabétisme, etc.), lorsqu’elles sont disponibles, indiquent des améliorations dans les dimensions de la pauvreté non liée aux revenus.

iii. Les organisations de la société civile indiquent une hausse de la confiance dans l'impartialité du débat politique et sa capacité à influencer la politique gouvernementale.

4.3. Dans quelle mesure les revenus des citoyens et leur répartition ont-ils évolué (par ex. indice de Gini, croissance des revenus par quintile de revenu), en particulier pour les plus démunis ?

i. Les tendances relatives aux indicateurs de résultats sélectionnés montrent des hausses évidentes des revenus des citoyens (données désagrégées par région, catégorie rurale/urbaine, catégorie socioprofessionnelle, genre...) et une amélioration de la répartition des revenus.

ii. Tendances relatives aux indicateurs d’impact (par ex. le logement, la consommation, l’équipement,...).

4.4. Dans quelle mesure des changements importants ont-ils été constatés dans certains domaines transversaux clés de la société, notamment la protection environnementale, l’égalité des sexes et la participation des jeunes?

i. Les principaux défis environnementaux liés aux processus démographiques et économiques en cours présentent des résultats positifs (tel qu’indiqué par les indicateurs de suivi existants concernant les principales menaces environnementales – indicateurs liés à l’OMD n°7).

ii. L’égalité des sexes dans les secteurs clés a évolué, comme le montrent des indicateurs spécifiques liés à la santé, à l’éducation et à l’économie (accès aux marchés) (cf. les indicateurs des OMD concernés).

iii. L’employabilité et l’emploi des jeunes ont évolué, tel qu’indiqué par les indicateurs spécifiques en matière d’éducation et d’emploi (cf. les indicateurs des OMD pertinents).

25

5.1. Dans quelle mesure constate-t-on des changements dans la performance de l’économie, en particulier celle des entreprises, par rapport aux changements en matière de gestion fiscale et macroéconomique et/ou d’autres politiques gouvernementales et processus politiques et/ou d’autres facteurs externes ou internes ?

i. Existence et solidité des liens de causalité qualitatifs et quantitatifs liant l’amélioration de la gestion macroéconomique et fiscale à l’amélioration des tendances des indicateurs économiques.

ii. Existence et solidité des liens de causalité qualitatifs et quantitatifs entre la mise en œuvre de politiques économiques et sectorielles «nouvelles» / améliorées et l’amélioration des tendances des indicateurs économiques.

iii. Existence et force des facteurs externes – évolutions de l’environnement économique et politique international ou régional (par ex. variations importantes des prix internationaux, déstabilisation économique et politique au niveau régional) – justifiant en partie les changements enregistrés dans les indicateurs économiques.

iv. Existence et force d’autres facteurs internes (par ex. changement politique) justifiant en partie les évolutions enregistrées à travers les indicateurs économiques.

5.2. Dans quelle mesure les évolutions dans les moyens généraux d'existence et les revenus, y compris la sécurité et l’accès aux services des citoyens, peuvent-elles être liées aux changements dans la politique ou les processus politiques gouvernementaux, et/ou à d’autres facteurs externes ou internes ?

i. Existence et solidité des liens de causalité qualitatifs et quantitatifs entre l’accès accru aux services et l’amélioration des moyens de subsistance et des conditions de vie pour les plus démunis, et l’évolution des dépenses publiques.

ii. Existence et solidité des liens de causalité qualitatifs et quantitatifs entre l’accès accru aux services et l’amélioration des moyens de subsistance pour les plus démunis, et l’évolution des processus politiques gouvernementaux.

iii. Existence et force des hausses liées aux revenus qui pourraient justifier un accès accru aux services et une amélioration des moyens de subsistance pour les plus démunis.

iv. Existence et force d’autres facteurs pouvant justifier l’accès accru aux services et l’amélioration des moyens de subsistance pour les plus démunis (par ex. interventions spécifiques non gouvernementales, amélioration de la santé,…)

5.3. Dans quelle mesure l’évolution des revenus des citoyens et de leur répartition est-elle liée à des changements de politiques gouvernementales ou de processus politiques et/ou d’autres facteurs externes/internes ?

i. Existence et solidité des liens de causalité qualitatifs et quantitatifs entre la transparence accrue et les changements dans les politiques gouvernementales.

ii. Existence et force des liens de causalité qualitatifs et quantitatifs entre l’accès accru des plus démunis et des entrepreneurs à la justice et les changements dans les politiques gouvernementales.

iii. Existence et force de facteurs externes – changements dans l’environnement politique/sécuritaire régional et international – justifiant en partie les changements enregistrés dans les indicateurs de gouvernance/transparence.

iv. Existence et force d’autres facteurs internes (par ex. changement politique) justifiant en partie les changements enregistrés dans les indicateurs de gouvernance / transparence.

5.4. Dans quelle mesure les changements dans certains domaines transversaux peuvent-ils être reliés aux changements dans les politiques gouvernementales ou dans les processus politiques et/ou d’autres facteurs externes ou internes ?

i. Existence et force des liens de causalité qualitatifs et quantitatifs entre l’amélioration des résultats dans les domaines transversaux et les changements dans les dépenses publiques.

ii. Existence et force des liens de causalité qualitatifs et quantitatifs entre l’amélioration des résultats dans des domaines transversaux clés et les changements dans la politique gouvernementale.

iii. Existence et force des facteurs externes (par ex. changements environnementaux liés aux facteurs climatiques ...) justifiant en partie les changements enregistrés dans les résultats sélectionnés.

26

L’étape trois sera traitée après l’achèvement des deux premières étapes/composantes et n’impliquera pas la formulation de questions réellement nouvelles. Elle devrait viser à souligner les cohérences et incohérences entre les réponses fournies au cours des étapes 1 et 2, de manière à identifier tout lien de causalité significatif (contribution) entre l’ABG/ABS et les résultats/impacts réels constatés. Le raisonnement sur lequel la formulation des questions se base peut être défini comme suit :

− La question générale de l’étape/composante 1 est la suivante : dans quelle mesure l’ABG/ABS a-telle contribué à la réalisation des outputs gouvernementaux (y inclus l’efficacité des allocations budgétaires et leur opérationnalité) au niveau 3 de la LI ?

− La question générale de l’étape/composante 2 est la suivante : dans quelle mesure la réalisation des résultats de développement visés par l’ABG/ABS a-t-elle été favorisée, entravée ou somme non influencée par les outputs gouvernementaux (notamment ceux relatifs aux changements dans l’efficacité des allocations budgétaires et des dépenses publiques) au niveau 3 de la LI?

− La question générale de l’étape/composante 3 est la suivante : (i) dans quelle mesure les contributions de l’ABG/ABS aux outputs gouvernementaux sont-ils cohérents avec leur contribution aux résultats de développement escomptés et (ii) quelle est l’explication possible, en particulier, s’agissant des incohérences possibles?6

En pratique, il est suggéré que les évaluateurs commencent par l’établissement d’un tableau de comparaison entre les résultats des étapes/composantes 1 et 2, tel que décrit dans la note de bas de page ci-dessous. Ils décideront ensuite s’il faut formuler des questions spécifiques pour expliquer certaines cohérences et incohérences apparues dans le tableau de comparaison. Dans la plupart des cas, les réponses fournies aux étapes 1 et 2 seront suffisantes pour expliquer les résultats du tableau de comparaison et aucune QE supplémentaire ne sera nécessaire. Des commentaires appropriés relatifs au tableau de comparaison seront suffisants pour compléter l’évaluation. Ces commentaires pourraient être inclus dans une seule question (générale) ou répartis dans plusieurs questions en fonction des différents sujets abordés. Le choix dépendra de la complexité des résultats du tableau de comparaison ainsi que de la complexité de l’évaluation.

6 En pratique, les évaluateurs pourraient compléter un tableau comme celui présenté ci-dessous. Ce tableau aidera à comparer les résultats des étapes/composantes 1 et 2. Si les résultats sont cohérents, la conclusion est assez claire. Si les résultats sont incohérents, les évaluateurs devront

fournir une explication possible. Par exemple, si un résultat positif a été principalement déterminé par un output gouvernemental, auquel l’ABG/ABS n’a pas contribué, il est possible que l’ABG/ABS doive être revue afin de soutenir un output de ce type à l’avenir. Si un résultat

positif a été principalement déterminé par des facteurs non gouvernementaux, alors que l’ABG/ABS a contribué significativement aux outputs gouvernementaux qui auraient pu affecter ce résultat, l’évaluation de l’étape 1 pourrait être revue et – si cela se confirme – différentes

explications pourraient être fournies, par exemple, les effets de l’output gouvernemental seront visibles à plus long terme ou la con tribution de cet output sera plus visible lorsque les facteurs externes positifs disparaîtront. Le tableau aidera à élaborer les conclusions de l’évaluation et à

trouver (et éventuellement expliquer) les principaux liens de causalité entre l’ABG/ABS et les résultats/impacts de la stratégie gouvernementale. QE Type de lien

Output • Résultat (Étape/Composante 2)

Type de lien ABG/ABS •Output (Étape/Composante 1)

Explication de la cohérence/incohérence

5.1 Principal déterminant, ou Co-déterminant, ou Faible contribution, ou Contribution nulle

Principal déterminant, ou Co-déterminant, ou Faible contribution, ou Contribution nulle

5.2 “” “” 5.3 “” “” 5.4 “” “”

27

2.2 Spécificités de l’aide budgétaire sectorielle

Au-delà de la nécessité d’appliquer les QE les plus standards possibles aux niveaux global et sectoriel, certains aspects de l’ABS méritent une attention et un examen particuliers. Les questions clés spécifiquement liées à l’ABS incluent par exemple la politique sectorielle, les outputs induits au niveau sectoriel ciblés dans l’accord d’ABS, la mesure des performances au niveau sectoriel, le financement des budgets sectoriels, les relations des PD au niveau sectoriel, l’alignement (par ex. ABS ou paniers communs, questions liées à la passation de marchés publics), etc.

3. Le cadre d’évaluation global

Le cadre d’évaluation à appliquer est présenté en résumé dans le NO, p. 14 (gr. 4). Il se base sur un cadre logique qui établit une séquence hypothétique des effets de l’aide budgétaire devant être testée systématiquement.

3.1. Contenu du cadre

Le cadre d’évaluation se divise en cinq niveaux:

niveau 1: inputs ABG/ABS;

niveau 2: outputs directs;

niveau 3: outputs induits;

niveau 4: résultats;

niveau 5: impacts.

3.1.1. Niveau 1 : les inputs ABG ou ABS

Le premier niveau du cadre porte sur les inputs des ABG/ABS. Bien qu’il existe une part de négociation entre le gouvernement et les fournisseurs d’aide budgétaire, le niveau et la nature des inputs sont principalement décidés par les fournisseurs d’aide budgétaire.

Le cadre d’évaluation considère l’ABG et l’ABS comme un paquet d’inputs fournis par les donateurs et consistant en :

· un transfert de fonds au "Fonds Consolidé" du Trésor public,

· un dialogue politique au niveau national ou sectoriel (incluant les modalités de versement et les conditionnalités associées),

· une assistance technique ou un renforcement des capacités liées à l’aide budgétaire, et

· des efforts en vue d’aligner l’aide budgétaire sur les politiques et systèmes nationaux, ou afin d’harmoniser les systèmes de gestion de l’ABG/ABS entre les différents fournisseurs d’aide budgétaire.

Le niveau 1 inclura un inventaire des inputs programmés et réellement fournis7, ainsi qu'une évaluation quant à la prise en compte ou non par ces inputs des conditions initiales (pertinence de l’ABG/ABS concernant le choix de l’instrument et sa conception spécifique).

7 Les informations à indiquer dans l’inventaire devraient inclure: i) la finalité du programme, par ex. les objectifs déclarés; ii) le contenu du dialogue politique et les procédures régissant le dialogue; iii) les montants versés et les critères et procédures de versement, notamment les progrès en matière d’alignement de l’ABG/ABS sur les systèmes nationaux; iv) les indicateurs de conditionnalité/performances; v) le contenu des mesures d’accompagnement de l’assistance technique/du renforcement des capacités.

28

Les autres inputs fournis par le gouvernement devraient également être mentionnés.

À ce niveau, il est possible de souligner la contribution spécifique des principaux fournisseurs d’ABG/ABS, notamment les conditionnalités ou modalités de versement particulières (par ex. les tranches variables de la CE, les conditions des autres partenaires, etc.), afin d’évaluer la justification de ces spécificités et de rendre possible une analyse de leurs effets particuliers (le cas échéant) dans les prochaines étapes de l’évaluation.

3.1.2. Niveau 2 : outputs directs

Le niveau 2 porte sur les outputs directs8 des inputs de l’aide budgétaire. Pour autant qu’ils aient une ampleur suffisante et ne qu'ils ne soient pas neutralisés par des actions ou mesures contreproductives9, les inputs de l’aide budgétaire auront un effet direct sur la relation entre l’assistance extérieure et le budget national ou sectoriel et les processus politiques. En particulier, le cadre suppose que l’aide budgétaire produira les outputs directs suivants :

· accroissement de la taille et de la part des fonds extérieurs disponibles au budget national;

· accroissement de la taille et de la part du budget disponible pour les dépenses discrétionnaires ;

· accroissement de la prévisibilité des flux de financement extérieurs ;

· renforcement de la coordination du dialogue politique et des conditionnalités, ainsi que de leur cohérence avec les priorités gouvernementales, leur permettant de contribuer davantage à une mise en œuvre efficace de la stratégie gouvernementale;

· développement de la coordination de l’AT et du renforcement des capacités institutionnelles, ainsi que de leur cohérence avec les priorités gouvernementales, leur permettant de contribuer davantage à une mise en œuvre efficace de la stratégie gouvernementale;

· harmonisation et alignement accrus de l’assistance extérieure liée à l’ABG/ABS, avec des réductions importantes des coûts de transaction10 , influençant ainsi positivement l’harmonisation et l’alignement même de l’ensemble de l’aide extérieure.

3.1.3. Niveau 3 : outputs induits

Au niveau 3, les outputs directs de l’ABG/ABS se combinent aux effets des inputs gouvernementaux et des autres inputs à l’intérieur des processus budgétaires et politiques. Le cadre méthodologique suppose que lorsque l’ABG/ABS et la stratégie gouvernementale vont dans la même direction et qu’il n’y a pas de facteurs externes négatifs et imprévus, les outputs directs de l’aide budgétaire auront des effets positifs sur le cadre institutionnel et financier relatif aux dépenses publiques et aux politiques publiques en général, et donc sur la gestion même des politiques publiques et la fourniture de services. Les effets au niveau financier sont

8 La définition des «outputs directs» se base sur la nature particulière du cadre d’évaluation. Il existe un cadre emboîté dans lequel les effets de l’ABG/ABS sont entremêlés avec ceux de la stratégie gouvernementale que soutient l’ABG/ABS. Dans ce cadre, certains outputs dépendent directement et pratiquement exclusivement de la mise en œuvre de l’ABG/ABS. D’autres dépendent de la mise en œuvre de la stratégie gouvernementale, même si celle-ci est strictement interconnectée à l’ABG/ABS. Pour les distinguer, la présente méthodologie fait une différence entre «outputs induits» et «outputs directs». D’autres définitions auraient pu être possibles: par exemple, dans des cas similaires, une distinction entre «effets immédiats» et «outputs » ou «output 1» et «output 2» a été adoptée. 9 Par exemple, les retards de versement, les goulots d’étranglement pour les versements entre la Banque centrale et le Trésor, différents facteurs qui entravent la mobilisation des inputs , etc. Tous ces facteurs, une fois identifiés, devraient être analysés et inclus dans l’évaluation pour permettre de tirer des conclusions et d’élaborer des recommandations. 10 Un point capital à noter est que si le niveau initial d’harmonisation et d’alignement (H&A) associé à l’aide budgétaire peut être considéré comme un «input» de l’ABG/ABS, celle-ci vise aussi à renforcer l’harmonisation et l’alignement de l’aide au développement dans son ensemble. La H&A de l’ensemble de l’aide, à savoir un cadre de partenariat renforcé entre le gouvernement et les PD, peut donc être considérée comme un output direct de l’ABG/ABS.

29

susceptibles de se manifester relativement rapidement, tandis que les effets politiques et institutionnels devraient être plus lents à se faire sentir.

On suppose que les «outputs» peuvent se matérialiser de six manières différentes au niveau national ou sectoriel:

· amélioration de la discipline fiscale globale et de la gestion macroéconomique ; · renforcement de la GFP et des systèmes de passation de marchés publics ; · amélioration de la qualité des processus politiques et de la mise en œuvre des politiques

; · augmentation des fonds alloués aux dépenses publiques discrétionnaires avec des

effets sur la quantité et la qualité des biens et services fournis par le secteur public ; · renforcement de la gouvernance et de la redevabilité démocratique; · amélioration de l’État de droit dans le pays.

3.1.4. Niveau 4: résultats

Lorsque progresse dans le cadre jusqu'au niveau des impacts, les hypothèses testées sont moins directement liées à la fourniture de l’aide budgétaire en tant que telle mais davantage liées à l’ensemble des politiques et stratégies du gouvernement et aux réactions des parties prenantes concernées aux changements dans les processus d’élaboration des politiques et d’allocation des ressources. Cela reflète le fait que l’aide budgétaire est conçue comme une contribution à un processus gouvernemental de dépenses publiques et d’élaboration de politiques.

Les résultats supposés dans ce cadre sont liés aux effets positifs du renforcement de la capacité du gouvernement à influencer de manière positive les déterminants immédiats de la croissance économique et de la réduction de la pauvreté aux niveaux national et sectoriel sur l’économie au sens large et sur les plus démunis. Ils découlent en particulier de l’interaction entre un secteur public plus efficace, efficient et redevable avec l’économie et la société au sens large.

Ainsi à moyen et long termes, on peut prévoir certains résultats, et notamment :

· une augmentation de l'utilisation des biens et services fournis par le secteur public et une meilleure satisfaction des bénéficiaires ;

· une réponse positive de l’économie aux améliorations des actions gouvernementales visées par les accords d’aide budgétaire ;

· une confiance accrue des entreprises due à des politiques macroéconomiques et réglementaires plus efficaces ;

· une confiance générale accrue de la population et une redevabilité démocratique renforcée, particulièrement en relation avec le processus budgétaire.

3.1.5. Niveau 5 : impacts

On peut s'attendre à ce que les impacts se matérialisent à long terme pour autant que les résultats escomptés soient atteints et que les hypothèses clés soient vérifiées quant au processus de croissance et de développement. Toutefois, à ce niveau, il est fort probable que les changements qui interviennent ne soient pas influencés uniquement par l’aide budgétaire, mais soient le résultat d’effets combinés de processus de changement sous-jacents et de tendances dans le processus d’élaboration des politiques, et au sein de la société et de l’économie, soutenus par l’ABG/ABS.

L’impact final attendu de l’ABG et de l’ABS, combiné à une politique publique et des dépenses appropriées, est le suivant :

· croissance économique renforcée et durable;

30

· réduction de la pauvreté monétaire et non monétaire ; · renforcement du pouvoir et inclusion sociale des plus démunis et des groupes

défavorisés (y compris les femmes) ; · d’autres domaines d’impact peuvent être aussi considérés, en fonction du cadre de

partenariat spécifique et des priorités connexes établies par le gouvernement et les principaux partenaires au développement telles que des améliorations significatives de la démocratie, des droits de l’homme et de la protection environnementale.

3.2. Selon le cadre d'analyse, quel est le moteur du changement ? Le cadre d’évaluation identifie deux principales catégories d’effets de l’ABG ou de l’ABS:

· les effets liés aux «flux financiers» résultant directement de l’aide budgétaire elle- même ; et

· les effets politiques ou institutionnels émanant de l’interaction de l’aide budgétaire et des inputs non financiers de l'ABG/ABS avec les processus d’élaboration des politiques, de formulation et d’exécution du budget internes au pays partenaire.

3.2.1. Diversité et spécificité des effets de l’ABG

Les effets des «flux financiers» découlent des fonds supplémentaires affectés au budget national grâce à l’ABG ou l’ABS. En fonction de l’importance relative de ces flux et de leur ampleur, ils peuvent permettre soit d’augmenter les dépenses, soit de réduire les emprunts. Tant que les ressources de l’ABG ou de l’ABS sont fongibles, elles peuvent aussi diminuer les coûts de financement du budget, par exemple en réduisant la nécessité d’opérations du Trésor en cours d’année pour répondre aux exigences en matière de liquidités (réduisant ainsi la nécessité de découverts de la Banque centrale ou d’émissions de bons du Trésor, ou l’accumulation d’arriérés de paiement). Elles peuvent également avoir des effets macroéconomiques, en particulier sur les taux d’intérêt et l’inflation ; une hausse de la demande de devises locales sur le marché des devises pourrait contribuer à une appréciation du taux de change.

L’aide budgétaire peut générer des effets politiques et institutionnels sur les politiques et les processus institutionnels. Certains sont endogènes et découlent principalement de l’utilisation accrue du système national de gestion des finances publiques (GFP), contrairement à l’utilisation de modalités d’aide moins alignées sur le système de GFP. En fonction de la taille relative de l’aide budgétaire fournie (et de la mesure dans laquelle ses effets sont renforcés en limitant le développement des modalités d’aide moins alignées), cette dernière pourrait avoir des effets institutionnels positifs en redonnant de l’importance au budget général et aux processus de redevabilité associés.

Comme il devient plus important de faire correspondre les budgets aux politiques, une attention accrue devrait être accordée aux priorités politiques et à l’allocation des ressources au sein du gouvernement, au Parlement, dans les organisations de la société civile (OSC) et parmi la population au sens large. Le Ministère des Finances et le Bureau national d’audit devraient renforcer leur coordination et leur rôle de contrôle, tandis que les ministères sectoriels devraient développer leurs capacités en matière d’élaboration de politiques et de consensus pour s’assurer que des ressources adéquates sont attribuées à leurs secteurs. En conséquence, les décisions concernant la politique et les dépenses devraient être examinées plus en détail et des changements pourraient être réclamés ; il pourrait également y avoir une pression intérieure sur les fonctionnaires afin qu'ils améliorent la qualité de l'élaboration du budget et des processus d’exécution. L’importance relative de ces effets sera déterminée par la qualité, la transparence et l'exhaustivité du processus budgétaire dès le début, par la mesure dans laquelle la prise de décision passe réellement du "hors budget" à l'intérieur du budget et par la mesure dans laquelle l’exécutif est tenu de répondre aux pressions démocratiques.

31

D’autres effets politiques et institutionnels exogènes résulteront de la nouvelle influence extérieure exercée par les accords d’ABG ou d’ABS. Ceux-ci résultent directement des processus de dialogue politique avec les partenaires au développement (PD), des conditionnalités de versement de l’aide budgétaire et de l'appui externe au renforcement des capacités qui pourrait être fourni. Par exemple, l’attention accordée par les PD à l’amélioration des systèmes de GFP pourrait permettre une mise en œuvre plus intense des réformes de la GFP que ce qui aurait été le cas autrement. L’introduction de versements de l’ABG ou de l’ABS liés aux indicateurs de performances11, comme ceux appliqués par la Commission Européenne pour les tranches variables de ses programmes d’aide budgétaire, pourrait agir comme une incitation à promouvoir des améliorations plus rapides de l’efficacité de la fourniture de services.

3.2.2. Effets syst émiques et liens de causalité

Il est recommandé d’essayer – même si ce ne sera pas facile – de distinguer les effets des «flux financiers» des effets politiques et institutionnels. En pratique, ces effets sont souvent reliés ou du moins interagissent, mais il est important pour comprendre le cadre d’évaluation de reconnaître que c’est cette série d’effets et leur interaction avec les facteurs externes qui a mené aux changements systémiques aux différents niveaux du cadre12. Lors d’une telle évaluation, des séquences spécifiques de liens entre facteurs individuels du cadre d'analyse peuvent être identifiées. Lorsque des séquences de liens ou «liens de causalité», semblent particulièrement importantes, elles doivent être soulignées et analysées en profondeur pour tirer des enseignements éventuels, même si la plupart du temps, il n’est pas conseillé de formuler ces liens de causalité ex ante, en tant qu’hypothèses à vérifier. L’expérience a montré que structurer l’évaluation autour de liens de causalité hypothétiques pouvait remettre en cause les principaux changements systémiques et générer une interprétation arbitraire.

Selon la méthodologie proposée, il n’est pas possible d’établir des liens de causalité linéaires entre les inputs de l’ABG/ABS et les impacts de la stratégie gouvernementale. En effet, les changements observés à tous les niveaux du cadre sont déterminés par un système de causes combinant à la fois l'ABG et l'ABS et d’autres facteurs, ces derniers jouant un rôle de plus en plus important au fil des différentes étapes du cadre d'analyse. Par exemple, il serait difficile de conclure – comme suggéré par la carte de causalité de l’évaluation conjointe de l’aide budgétaire générale (ECABG) – que l’ input «dialogue politique» a un lien de causalité uniquement avec les effets immédiats de la «prévisibilité accrue des fonds» et du "ciblage plus stratégique du dialogue politique et des conditionnalités»; ou que l’«alignement et l’harmonisation» n’ont aucun lien de causalité avec la «proportion accrue des fonds affectés au

11 «Les indicateurs utilisés pour déterminer le montant de la tranche variable à verser doivent être mesurés annuellement et peuvent varier de manière raisonnable d’une année à l’autre – probablement en réaction à l’action gouvernementale. Ainsi, les types de résultats en question ne sont pas des impacts à moyen ou long terme comme les taux d’alphabétisation ou l’espérance de vie, mais des indicateurs liés aux Objectifs du Millénaire pour le Développement ou qui leur sont proches, au niveau des résultats annuels en matière de fourniture de services [...] Un exemple typique est le taux de scolarisation dans le primaire. Celui-ci est considéré comme un «résultat» dans la typologie «input-output -résultat-impact» de la CE: si le montant dépensé pour l’éducation primaire est considéré comme un «input », le nombre d’enseignants primaires formés sera un «output» et le taux d’alphabétisation sera un «impact». «European Commission Budget Support: An Innovative Approach to Conditionality», DG DEV, Commission européenne, dans Budget support as more effective aid? Recent Experiences and Emerging Lessons, (eds) Koeberle S., Stavreski Z., et Walliser J., Banque mondiale (2006). 12 Par exemple, l’accès accru pour les plus démunis à l’enseignement (au niveau des résultats) pourrait être assuré grâce à une meilleure fourniture de services publics, résultant de plusieurs facteurs liés à l’ABG/ABS: une plus forte cohérence et redevabilité politique (possibles effets politiques et institutionnels endogènes de l’ABG/ABS); une meilleure formulation des politiques (possibles effets politiques et institutionnels exogènes de l’ABG/ABS); et augmentation de l’allocation des fonds (possibles effets des «flux financiers» de l’ABG/ABS). Chacun de ces facteurs peut à son tour être positivement influencé par d’autres facteurs et par des facteurs non liés à l’ABG/ABS. D’autre part, l’accès accru pour les plus démunis à l’enseignement (au niveau des résultats), même s’il est facilité par l’amélioration des services mentionnée plus haut, pourrait être déterminé par une hausse des revenus des ménages ou une amélioration des infrastructures de transport non directement liée à l’ABG/ABS.

32

budget national». D’autre part, la nécessité de représenter la complexité des relations a poussé l’ECABG à étendre l’utilisation de liens de causalité multiples manquant ainsi l’objectif original de la carte de causalité ex ante.

4. Comment aborder les trois étapes/composantes de la méthodologie? La méthodologie reconnaît explicitement que l’aide budgétaire est une contribution à une stratégie gouvernementale (à un ensemble d’actions et de dépenses publiques déterminées au niveau national). En conséquence, l’évaluation de l’ABG/ABS doit impliquer, d’une part (étape/composante 1), une analyse de la logique de l’aide budgétaire, et d’autre part (étape/composante 2), une analyse des résultats et impacts de la stratégie gouvernementale que l’ABG/ABS vise à soutenir. L’étape/composante 3 consiste en l’examen des liens entre les processus d’ABG/ABS et les résultats et impacts de la stratégie gouvernementale.

Cette approche vise à atteindre un équilibre dans l’évaluation entre l’analyse des effets propres de l’aide budgétaire (inputs, outputs directs et outputs induits) et l’analyse de l’influence que l’ABG/ABS peut avoir sur la stratégie gouvernementale afin d’atteindre ses résultats et impacts. Dans le même temps, elle reconnaît la difficulté d’analyser l’influence de l’ABG/ABS aux niveaux des résultats et des impacts sans une compréhension plus large des performances sociales et économiques globales et sectorielles au niveau national.

4.1. Aperçu de la méthodologie

Les effets de l’aide budgétaire en tant que tel peuvent être considérés comme significatifs jusqu’au niveau des outputs induits. Pour identifier l’influence de l’ABG/ABS à des niveaux plus élevés du cadre logique, les évaluateurs doivent établir une image claire des résultats et des impacts de la stratégie gouvernementale que l’ABG/ABS visait à soutenir. Les facteurs qui ont contribué aux réussites ou aux échecs, qu’ils soient internes ou externes, doivent aussi être identifiés. Enfin, il faut analyser comment, par quels liens, et dans quelle mesure l’ABG/ABS a pu y contribuer.

L’approche requise combine les éléments suivants:

− Etape/composante 1 : une évaluation détaillée de l’aide budgétaire aux niveaux 1, 2 et 3 du cadre. Elle se concentre sur la pertinence des inputs fournis, sur les outputs directs de ces mêmes inputs et sur la qualité et l’adéquation des changements soutenus dans les systèmes gouvernementaux (outputs induits);

− Etape/composante 2 : une vaste analyse de l’ABG/ABS liée aux résultats et impacts des stratégies gouvernementales. L’étape/composante 2, sauf si le gouvernement et ses partenaires le demandent explicitement, ne consiste pas en une évaluation de la stratégie gouvernementale, mais fournit des informations exhaustives sur le niveau de réalisation des résultats de développement que l’ABG/ABS visait à promouvoir et sur les facteurs déterminants associés. En particulier, elle devrait permettre aux évaluateurs de comprendre:

o si les réalisations en termes de croissance économique, de réduction de la pauvreté et d’autres objectifs de développement correspondent aux objectifs de la stratégie gouvernementale appuyés par l’ABG/ABS ; et

o quels ont été les facteurs déterminants de ces réalisations positives/négatives, y compris le rôle spécifique des outputs de la stratégie gouvernementale;

− Etape/composante 3 : une évaluation de la contribution de l’ABG/ABS aux facteurs qui ont participé à la réussite ou à l’échec de la stratégie gouvernementale. Elle est menée en combinant et comparant les résultats des composantes 1 et 2.

L’étape/composante 1 couvre les trois premiers niveaux du cadre d’évaluation, à savoir les inputs de l’ABG/ABS (niveau 1), les outputs directs (niveau 2) et les outputs induits (niveau

33

3). Il faut prendre en compte que l’output induit au niveau 3 est un effet combiné des outputs directs de l’ABG/ABS et des actions gouvernementales. Concernant l’étape/composante 2, l’évaluation de la stratégie gouvernementale porte sur les impacts (niveau 5) et les résultats (niveau 4) de la stratégie, ainsi que sur les facteurs déterminants, notamment les outputs des stratégies gouvernementales en général, et en particulier ceux induits par l’ABG/ABS.

La réalisation de ces deux étapes/composantes est une condition préalable pour permettre une évaluation finale de la contribution de l’ABG/ABS à la réussite ou à l’échec d’une stratégie gouvernementale, ce qui est la troisième composante de la méthodologie. Il s’agit en réalité d’une analyse de contribution, ce qui représente un processus trè13s complexe. C’est pourquoi il est recommandé que la contribution de l’ABG/ABS à la réussite ou à l’échec réel de la stratégie gouvernementale soit traitée de manière qualitative, en identifiant les liens probables sans essayer de les quantifier.

4.2. Étape/composante 1 : analyse des inputs, des outputs directs et des outputs induits (niveaux 1 à 3)

À l’étape/composante 1, les évaluateurs examinent la logique de l’ABG/ABS, en particulier le contexte dans lequel l’ABG/ABS a été fournie, la nature des inputs réellement fournis, leurs outputs directs et les outputs combinés (induits) de ces interventions et des actions gouvernementales associées (niveaux 1 à 3). À ces trois niveaux, les évaluateurs doivent examiner explicitement quel type d’influence l’ABG/ABS pourrait exercer par le biais des effets des «flux financiers» et des effets politiques et institutionnels, tels que décrits à la section 3.2, ainsi que d’autres effets systémiques possibles. Les évaluateurs doivent tenir compte des effets escomptés et de ceux imprévus, et potentiellement négatifs.

L’étape/composante 1 comprend les quatre sous-étapes suivantes :

− Un aperçu de l’évolution du contexte dans lequel l’ABG/ABS doit être évalué. Cela comprend (i) le contexte national global dans lequel la stratégie gouvernementale a été conçue et est mise en œuvre, (ii) les conditions de départ dans lesquelles la fourniture de l’aide budgétaire a commencé, et (iii) le cadre préexistant de l’aide extérieure dans le pays dont on suppose, dans la plupart des cas, qu’il devrait être affecté directement par l’ABG/ABS ;

− Une analyse des inputs de l’ABG/ABS réellement fournis, en fonction du contexte et de l'ampleur de l’ABG/ABS, en tenant compte du volume réel des fonds transférés, du contenu du dialogue et de la conditionnalité, de toute assistance technique liée à l’ABG/ABS, et du niveau d’harmonisation et d’alignement des accords d’ABG/ABS. Cette analyse portera en particulier sur la pertinence de l’ABG/ABS en tant qu’instrument d’aide et sur la pertinence de sa conception;

− Une analyse des outputs directs de l’ABG/ABS, en termes de modification relations entre l’assistance extérieure, le budget national et les processus politiques. Ici, les évaluateurs devraient se concentrer sur les effets de l’ABG/ABS sur les niveaux d’aide publique au développement (APD) réellement inclus dans le processus budgétaire, sur la composition de ces fonds et leur prévisibilité, ainsi que sur le contenu du dialogue politique, sur la nature de l’aide publique fournie et sur la composition et la nature des flux d’aide au développement dans leur ensemble. La mesure dans laquelle l’ABG/ABS pourrait avoir contribué à réduire les coûts de transaction générés par l’aide au développement devrait également être couverte par cette analyse. L'évaluation portera sur l’efficacité, l’efficience et la durabilité des changements produits par l’ABG/ABS.

13 Mayne, J. Addressing Attribution Through Contribution Analysis: Using Performance Measures Sensibly. Discussion Paper. Ottawa: Bureau du vérificateur général du Canada, 1999

34

− Une analyse des outputs combinés (induits) de l’ABG/ABS et des actions gouvernementales correspondantes, en particulier concernant les changements que l’ABG/ABS devrait normalement induire en relation avec le cadre institutionnel et financier régissant les dépenses publiques et le processus de la politique publique. Ici, les évaluateurs devraient se concentrer sur les changements (au niveau global ou sectoriel, ou les deux) qui pourraient ou non être induits en relation avec la gestion macroéconomique, la qualité des systèmes de GFP, la qualité des processus politiques et de la mise en œuvre politique, la quantité et la qualité des biens et services publics fournis, l’État de Droit, la gouvernance et la redevabilité démocratique. Les évaluateurs devraient analyser attentivement les réalisations du gouvernement, les facteurs déterminants majeurs et identifier les contributions spécifiques de l’ABG/ABS. L’évaluation doit tenir compte des nombreux facteurs non liés à l’ABG/ABS qui interviennent pour déterminer les outputs gouvernementaux, et notamment: la stabilité et la sensibilité du cadre politique, les capacités de la société civile et son aptitude à interagir avec le gouvernement, les capacités inhérentes au secteur public et l’environnement économique extérieur. L’évaluation portera sur l’efficacité, l’efficience et la durabilité des changements induits.

La méthode d’évaluation proposée pour l’étape/composante 1 pourrait être l’analyse contrefactuelle. Celle-ci pourrait s’appliquer à différents niveaux de complexité, en fonction de la portée des travaux et de la disponibilité des données. Une approche contrefactuelle (c’est-à-dire avec/sans) est toutefois nécessaire pour avoir une image de la contribution des inputs de l’ABG/ABS aux outputs de la stratégie gouvernementale que l’ABG/ABS entend soutenir (outputs induits). À chaque sous-étape correspond une QE.

4.3. Étape/composante 2 : analyse des résultats et impacts (niveaux 5 à 3)

Aux niveaux des résultats et des impacts, l’identification des contributions de l’ABG/ABS (livrables) est beaucoup plus complexe puisque le changement est déterminé par une multitude de facteurs, dont beaucoup peuvent être plus importants que ceux liés à l’aide budgétaire.

Les évaluations précédentes accordaient peu d’attention à l’identification de ces résultats et impacts, et à la compréhension de leurs principaux déterminants. L’accent sur le processus d’ABG/ABS a compromis l’analyse des réalisations réelles : peu de données ont été acquises, les synergies entre l’évaluation de l’ABG/ABS et les évaluations plus larges des performances des actions gouvernementales n’ont pas été examinées, l’analyse des politiques pour déterminer les causes des performances (ou non-performances) a été négligée.

L’étape/composante 2 - large analyse (ou identification) 14 des résultats de la stratégie gouvernementale et de leurs déterminants - renverse radicalement le sens de l’analyse pour passer d’une approche "de la base au sommet", dite bottom-up, (des inputs aux impacts) à une approche "du sommet à la base", dite "top-down". L’analyse devrait commencer par un examen des changements clés liés à l’ABG/ABS au niveau des impacts. Elle devrait ensuite viser à détecter les facteurs les plus influents dans la détermination de ces impacts à travers

14 Comme mentionné plus haut, ce n’est pas une évaluation de la stratégie gouvernementale, sauf demande explicite du gouvernement et de ses

principaux partenaires. La plupart du temps, il s’agit plutôt de forger une image claire de la situation des résultats de développement visés par

l’ABG/ABS, y compris l’identification des processus les plus importants qui ont amené ces résultats.

35

l’établissement de matrices de politiques argumentées. L’étape/composante 2 devrait chercher à identifier les liens entre les impacts, les résultats et les outputs de la stratégie gouvernementale, en mettant en évidence les processus institutionnels et les réformes (outputs induits) qui sont le plus directement liés aux résultats et impacts. En même temps, la méthode facilite l’étude d’autres facteurs qui ont contribué à la réussite ou à l’échec de la stratégie gouvernementale, y compris les effets imprévus.

Ainsi, l’étape/composante 2 comprend trois sous-étapes :

− Un examen des changements qui sont potentiellement des impacts de la stratégie gouvernementale que les opérations d’ABG/ABS entendaient soutenir, afin de produire un résumé des changements clés au cours de la période étudiée en matière de croissance économique, d’incidence de la pauvreté monétaire et non monétaire et du degré de renforcement du pouvoir et d’inclusion sociale des groupes défavorisés, ainsi que – dans le cas de l’ABS - du degré de réalisation des objectifs de développement au niveau sectoriel15. L’examen sera nécessairement limité par la qualité des données disponibles, mais en général, il devrait inclure un examen des tendances concernant chacune des variables, idéalement désagrégées par genre, groupe social et zone géographique, ainsi qu’une analyse de la composition sectorielle de la croissance. Coordonner la programmation de l’évaluation avec la disponibilité des enquêtes périodiques sur la pauvreté et la croissance faciliterait la tâche à ce stade ;

− L’identification des facteurs qui ont contribué à ces changements (ou à l’absence de changement) clés, y compris - mais pas exclusivement - les résultats de la stratégie gouvernementale que les opérations d’ABG/ABS visent à soutenir. Ici, l’accent devrait être mis en particulier sur l’évolution de la confiance et de la compétitivité des entreprises (investissement privé, commerce, emploi, etc.), l’appréciation et l’utilisation par les bénéficiaires des biens et services fournis par le secteur public (scolarisation, accès aux soins de santé de base, etc.) et le degré de confiance de la population tel qu’il se manifeste par le niveau sécurité intérieure, le paiement des taxes, etc. L’analyse devrait également identifier les facteurs totalement extérieurs à la stratégie gouvernementale qui ont eu une influence positive ou négative, comme l’environnement économique et politique au niveau régional et international, les processus politiques internes et tout événement économique imprévu ayant eu une incidence sur les changements mentionnés ;

− L’identification des outputs de la stratégie gouvernementale (processus de réforme politique et institutionnelle et changements dans la fourniture de services, y compris les «outputs induits» du niveau 3 du cadre d’évaluation) qu'on estime avoir été de la plus haute importance comme générateur de changements au niveau des résultats. Une fois encore, l’analyse devrait tenir compte des effets positifs et négatifs, en plus des facteurs externes à la stratégie gouvernementale et à l’ABG/ABS. Si l’évaluation doit chercher à identifier les liens positifs entre les actions gouvernementales et l’amélioration des résultats, elle devrait également constater quand une absence d’action ou une action inappropriée est susceptible d’avoir compromis la qualité des résultats.

Le niveau 3 du cadre (outputs induits) est couvert par les étapes/composantes 1 et 2 de l’évaluation. Si certains outputs gouvernementaux, plus directement liés à la contribution de l’aide budgétaire, peuvent être facilement reconnus à travers l’approche "de la base au sommet" de l’étape/composante 1 - par exemple l’amélioration de la gestion macroéconomique - d’autres outputs des stratégies gouvernementales seront mieux identifiés par l’approche "du

15 Comme souligné à la section 4. 1, il pourrait y avoir d’autres domaines d’impact à examiner en fonction du cadre de partenariat spécifique et des priorités connexes établies par le gouvernement et les principaux partenaires de développement.

36

sommet à la base" de l’étape/composante 2, tels que les facteurs explicatifs du changement au niveau 4, par exemple dans la mise en œuvre de la politique publique. Les limites des approches "de la base au sommet" et "du sommet à la base" varieront en fonction du contexte spécifique de l’évaluation. Elles se chevaucheront à l’intersection entre les deux étapes/composantes, ce qui sera important pour l’étape/composante 3.

L’ampleur de l’analyse des liens entre les différents niveaux à l’étape/composante 2 mérite un examen attentif. L’étape/composante 2 implique certainement l’étude des liens systémiques et de causalité entre les niveaux afin de comprendre les mécanismes du changement et d’en identifier les déterminants. Toutefois, il faut garder à l’esprit que dans le contexte d’une évaluation standard de l’ABG/ABS, il est pertinent de comprendre les causalités (boucles) uniquement dans la mesure où cela contribue à améliorer la compréhension des interventions d’aide budgétaire et à les mettre en perspective par rapport à d’autres facteurs clés. Une présentation approfondie des outils pouvant être utilisée pour contribuer à répondre aux QE de l’étape/composante 2 est reprise dans un autre document intitulé «Tools for step 2». Différents outils peuvent être utilisés en fonction de leur efficacité et des données disponibles.

Il faut toujours garder à l’esprit que toute tentative d’obtenir des informations exhaustives pour l’étape/composante 2 est susceptible d’absorber une grande part des ressources d’évaluation. Un équilibre doit être trouvé entre exhaustivité et concentration sur les processus et développements clés. Une recommandation pratique serait de rester assez général dans un premier temps, pour ensuite revenir si nécessaire à l’étape/composante 2 afin de procéder à un examen approfondi des questions spécifiques identifiées à l’étape/composante 3.

La méthode d’évaluation proposée pour cette étape/composante devrait être la plus simple et la plus ciblée possible étant donné la complexité des sujets abordés et la nécessité de limiter le champ de l’évaluation aux effets de l’ABG/ABS.

4.4. Étape/composante 3 : évaluation de l’influence de l’ABG/ABS sur les résultats et les impacts

Une fois les étapes/composantes 1 et 2 achevées, il devrait être possible d’identifier la contribution spécifique de l’ABG/ABS aux résultats de la stratégie gouvernementale. Si les évaluateurs se sont fait une idée relativement claire :

− des liens de causalité entre les outputs de la stratégie gouvernementale, d’une part, et les résultats et impacts de cette stratégie, de l’autre (étape/composante 2), et

− des liens de causalité entre l’aide budgétaire et les outputs de la stratégie gouvernementale (étape/composante 1),

Il leur sera possible d’évaluer la contribution de l’ABG/ABS à la stratégie gouvernementale par le biais de l’étape/composante 3. En pratique, l’étape/composante 1 est une évaluation de processus et l’étape/composante 2 est une analyse politique (ou d’impact), limitée dans son champ d’application aux résultats et impacts spécifiques que l’ABG/ABS vise à soutenir. L’étape/composante 3 est un exercice qui vise à compléter et intégrer les étapes/composantes 1 et 2 afin d’évaluer la contribution de l’ABG/ABS. Il convient de noter que la méthodologie proposée se base sur une analyse de contribution car on ne peut attribuer les résultats de la politique gouvernementale à l’aide budgétaire.

En effet, la nature de l’étape/composante 3 est différente de celle des deux autres étapes/composantes. Elle se base sur un exercice comparatif entre les résultats des deux étapes/composantes précédentes. Elle vise à identifier les incohérences, les complémentarités et les possibilités de leur intégration. En pratique, dans cette dernière étape/composante, les effets les plus significatifs de l’ABG/ABS (positifs/négatifs/ou imprévus) soulignés dans

37

l’étape/composante 1 seront comparés aux réalisations les plus significatives (positives/négatives/ou imprévues) et aux déterminants liés identifiés dans l’étape/composante 2. D" éventuels liens, forts ou faibles, de cause à effet seront examinés et leurs mécanismes de fonctionnement (ou de non fonctionnement) seront analysés.

Dans l’étape/composante 1, il est plus facile d’identifier les effets de l’ABG/ABS sur les changements institutionnels et politiques (qui constitue une partie des outputs induits au niveau 3 du cadre d’évaluation) qui dépendent directement de l’initiative du gouvernement central au niveau global et/ou sectoriel, notamment la discipline fiscale, l’allocation des dépenses en faveur des plus démunis, le processus politique, les réformes des politiques sectorielles, la redevabilité, etc.

Dans l’étape/composante 2, par contre, il est plus facile de saisir différents groupes de facteurs plus directement liés aux résultats et impacts des stratégies gouvernementales :

− les changements politiques et institutionnels - (qui font également partie des outputs induits au niveau 3 du cadre d’évaluation) qui sont principalement liés à la mise en œuvre des politiques, impliquant des niveaux de gouvernement décentralisés et des agences de mise en œuvre - tels que l’efficacité opérationnelle des dépenses en faveur des plus démunis, la lutte contre la corruption, la capacité d’associer la société civile à la mise en œuvre, etc. ;

− les facteurs liés à l’action gouvernementale, qui ne sont pas directement influencés par l’ABG/ABS, par ex. les dynamiques politiques du pays ou les améliorations dans les secteurs qui ne sont pas soutenus par l’ABG/ABS évaluée, comme par exemple l’électrification, les routes, la santé ;

− les facteurs externes à l’action gouvernementale tels que : les modifications de prix au niveau international qui touchent les revenus ruraux, ou l’instabilité économique et politique régionales (par ex. crises dans les pays voisins).

L’étape/composante 3, qui combine et intègre les résultats des étapes/composantes 1 et 2, peut combler certaines faiblesses des évaluations antérieures basées sur le modèle linéaire :

− une meilleure compréhension de l’influence de l’ABG/ABS sur les changements institutionnels et politiques, plus proches de la mise en œuvre, aidera à compléter et achever l’évaluation du processus de la composante 1. En effet, ces changements institutionnels et politiques ont à peine été détectés dans les évaluations antérieures de l’ABG/ABS basées sur le modèle linéaire;

− une prise en considération accrue du rôle de différents facteurs - souvent dominants - dans la détermination des résultats et des impacts rend l’analyse de la contribution de l’ABG/ABS plus réaliste et crédible. Dans le meilleur des cas, ces facteurs - selon les modèles linéaires - pourraient se voir accorder, dès le départ, une certaine attention sous forme dune liste d’«hypothèses» non priorisées.

Le graphique 5 (section 4.3.1 p.18 de la NO) montre l’intégration des trois étapes/composantes. 5. Critères d’évaluation standard du CAD

La logique du cadre d’évaluation prend en compte les critères standards du CAD (pertinence, efficacité, efficience, impact et durabilité). Les liens entre les QE mentionnées dans le tableau 1 (p. 3-8) et les critères d’évaluation du CAD sont indiqués dans le tableau 2 (p. 24-25).

38

Les définitions et interprétations des critères d’évaluation adoptés sont reprises dans le cadre ci-dessous. Les cinq premiers correspondent à la pratique consolidée de l’évaluation de l’aide au développement formalisée par l’OCDE (CAD).

Les cinq critères d’évaluation du CAD sont les suivants : − Pertinence : mesure selon laquelle les objectifs de l’action de développement

correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds ;

Remarque: rétrospectivement, la question de la pertinence consiste souvent à s’interroger sur le fait de savoir si les objectifs de l’action ou sa conception sont encore appropriés compte tenu de l’évolution du contexte. − Efficacité : mesure selon laquelle les objectifs de l’action de développement ont été

atteints ou sont en train de l’être, compte tenu de leur importance relative ; Remarque: terme également utilisé comme système de mesure globale (ou comme jugement) du mérite et de la valeur d’une activité; c'est-à-dire la mesure dans laquelle une intervention a atteint ou est en train d’atteindre ses principaux objectifs pertinents, de façon efficiente et durable et avec un impact positif en terme de développement institutionnel. − Efficience : mesure dans laquelle les ressources (fonds, expertise, temps, etc.) sont

converties en résultats ; − Impacts : effets à long terme, positifs et négatifs, primaires et secondaires, induits par

une action de développement, directement ou non, intentionnellement ou non ; − Durabilité : persistance des bénéfices résultant d’une action de développement après

la fin de l’intervention ; probabilité d’obtenir des bénéfices sur le long terme ; situation par laquelle les avantages nets sont susceptibles de résister aux risques.

http://www.oecd.org/dataoecd/29/21/2754804.pdf

39

N° Question d’évaluation Critères

d’évaluation CAD

Per

tinen

ce

Effi

caci

té

Effi

cien

ce

Du

rabi

lité

Imp

act

1.1 Quels inputs ont été fournis et dans quelle mesure correspondent-ils aux inputs ABG/ABS envisagés ? √

1.2 Dans quelle mesure les opérations d’aide budgétaire mises en place correspondent-elles au cadre stratégique et politique du pays et aux stratégies de développement globales des bailleurs de fonds ?

√ √

1.3 Dans quelle mesure la conception (notamment la combinaison d'inputs ABG/ABS) est-elle adaptée au contexte politique, économique et institutionnel spécifique du pays ?

√ √

2.1 Dans quelle mesure l’aide budgétaire a-t-elle contribué à accroître la taille et la part du financement extérieur soumis au processus budgétaire national, et à améliorer globalement la prévisibilité des flux d’aide ?

√ √ √ √

2.2 Dans quelle mesure l’aide budgétaire a-t-elle contribué à établir un cadre de dialogue politique axé sur les stratégies et priorités gouvernementales clés ?

√ √ √ √

2.3 Dans quelle mesure l’aide budgétaire a-t-elle contribué à fournir des inputs non financiers, tels que l’assistance technique et le renforcement des capacités qui sont stratégiques et axés sur les priorités du gouvernement ?

√ √ √ √

2.4 Dans quelle mesure l’aide budgétaire a-t-elle contribué à l’harmonisation et à l’alignement de l’aide extérieure, et réduit les coûts de transaction au fil du temps ?

√ √ √ √

3.1 Dans quelle mesure la discipline fiscale et la gestion économique se sont-elles améliorées et quelle a été la contribution de l’aide budgétaire?

√ √ √

3.2 Dans quelle mesure la gestion budgétaire et la GFP globale se sont-elles améliorées et dans quelle mesure le budget a-t-il contribué à ces améliorations?

√ √ √

3.3 Dans quelle mesure la qualité des processus politiques et la mise en œuvre des politiques se sont-elles améliorées (notamment concernant l’appropriation et la transparence), et dans quelle mesure le budget y a-t-il contribué ?

√ √ √

3.4 Comment ont évolué le niveau et la composition des dépenses publiques et quelles ont été les principales conséquences pour la production de biens et de services publics ?

√ √ √

3.5 Dans quelle mesure la gouvernance et la redevabilité démocratique se sont-elles améliorées, particulièrement eu égard aux rôles relatifs du Parlement et de la société civile concernant le budget ?

3.6 Dans quelle mesure l’État de droit a-t-il été renforcé dans le pays ?

4.1 Comment l’économie, et en particulier les entreprises, ont-elles agi et interagi avec l’environnement économique et institutionnel ?

√ √

4.2 Comment la richesse globale (impact), notamment la sécurité des citoyens et l’accès aux services (résultat) des groupes cibles a-t-elle évolué au fil du temps (par exemple, concernant les secteurs sociaux clés, en particulier l’éducation et la santé et/ou la justice pour les entrepreneurs, tous les citoyens, et surtout la population à bas revenus) ?.

√ √

4.3 Dans quelle mesure les revenus des citoyens et leur répartition ont-ils évolué (par ex. indice de Gini, croissance des revenus par quintile de revenu), en particulier pour les plus démunis ?

√ √

4.4 Dans quelle mesure des changements importants ont-ils été constatés dans certains domaines transversaux clés de la société, notamment la protection environnementale, ’légalité des sexes et la participation des jeunes ?

√ √

5.1 Dans quelle mesure constate-t-on des changements dans la performance de l’économie, en particulier celle des entreprises par rapport aux changements en matière de gestion fiscale et macroéconomique et/ou d’autres politiques gouvernementales et processus politiques et/ou d’autres facteurs externes ou internes ?

√ √

5.2. Dans quelle mesure les évolutions dans les moyens généraux d'existence et les revenus, y compris la sécurité et l’accès aux services des citoyens, peuvent-elles être liées aux changements dans la politique ou les processus politiques gouvernementaux, et/ou à d’autres facteurs externes ou internes?

√ √

5.3. Dans quelle mesure l’évolution des revenus des citoyens et de leur répartition est-elle liée à des changements de politiques gouvernementales ou de processus politiques et/ou d’autres facteurs externes/internes ?

√ √

5.4. Dans quelle mesure les changements dans certains domaines transversaux peuvent-ils être liés aux changements dans les politiques gouvernementales ou dans les processus politiques et/ou d’autres facteurs externes ou internes ?

√ √

Éta pe /com posa n te 3

La composante 3 porte sur la comparaison entre les résultats de l'étape/composante 2 et ceux de l’étape/composante 1 et sur l’explication des liens identifiés. Elle peut donc toucher les différents critères d’évaluation du CAD.

√ √ √ √ √

40

ACRONYMES

ABG ABS APD AT CAD

CDMT CE CEP CJ DEV DG NO ECABG

EES GFP H&I OCDE

OMD OSC PD PEFA PIB PME QE

Aide budgétaire générale Aide budgétaire sectorielle Aide publique au développement Assistance technique Comité d’assistance au développement (OCDE) Cadre de dépenses à moyen terme Commission européenne

Cadre d’évaluation des performances Critère de jugement Développement Direction générale Note d'orientation Évaluation conjointe de l’aide budgétaire générale European Evaluation Society Gestion des finances publiques Harmonisation et alignement Organisation de coopération et de développement économiques Objectifs du millénaire pour le développement Organisation de la société civile Partenaire au développement Dépenses publiques et responsabilité financière Produit intérieur brut Petites et moyennes entreprises Question d’évaluation

Annexe IV – Modèle de résumé de rapport d'évaluation du CAD

Titre (et référence) de l'évaluation

Résumé (central, 4 lignes maximum)

Objet de l'évaluation (5 lignes maximum sur le projet, l'organisation ou la question/le thème évalué) Description de l'évaluation But (3 lignes maximum) Méthodologie (3 lignes maximum) Principales constatations Distinguer clairement les réussites/obstacles éventuels et équivalents lorsque cela est possible (25 lignes maximum) Recommandations 25 lignes maximum Retour d'information (5 lignes maximum) Donateur: Commission européenne

Région:

Secteur CAD:

Type d'évaluation: Efficience, efficacité et impact.

Date du rapport:

Objet de l'évaluation:

Langue:

N° volume/pages:

Auteur:

Programme et ligne budgétaire concernée: Type de l'évaluation: ( ) ex ante () intermédiaire/à

mi-parcours ( X ) ex post

Calendrier: Date de début: Date de fin: Personne à contacter: Auteurs: Coût: Euro Groupe de pilotage: Oui/Non

Annexe 2 : CV des consultants

Expert Emploi-Formation 1. Nom de famille : GAUDE

2. Prénoms : Jacques

3. Date de naissance : 23-03-40

4. Nationalité : Française

5. Résidence : Suisse

6. Éducation :

Institution [Date] Diplôme(s) obtenu(s)

Lycée Kléber, Strasbourg – Université de Lyon, France (1963-64)

Propédeutique Maths

Université de Genève, Suisse (1967) Diplôme d’Économie, option méthodes quantitatives

Université Erasmus, Rotterdam, Pays-Bas (1980) Doctoraal (équivalence)

Autre formations : Gestion de projet, informatique, management.

7. Connaissances linguistiques (par compétence de 1 à 5, 1 étant le maximum):

Langues Lues Parlées Ecrites

Français 1 1 1

Anglais 1 2 2

Espagnol 1 2 2

8. Autres connaissances :.

• Informatique : MS Office 2007, Outil d’analyse de rapports (Crystal reports), gestion de projet (Ganttproject sous Java) ; analyse et développement de petites applications sous MS Access 2007.

• Chercheur-praticien en formation-emploi depuis 20 années. Nombreuses études sur les politiques & programmes de formation professionnelle et emploi (estimation des besoins de d’éducation. Systèmes d’information (« Observatoires ») des marchés du travail et de la formation incluant la définition et la mesure d’indicateurs propres à la décision ; analyse d’enquêtes (opinion, marché).

9. Expérience spécifique liée à la région :

Pays Date début - Date fin

Algérie (observatoire formation-emploi) 09/2007-12/2009

Maroc (évaluation agence d’emploi) 11/2003 – 12/2004

Tunisie (observatoire enseignement supérieur)

06/2005 à 12/2006

Tunisie (évaluation MANFORME) , 07/2000

10. Emploi actuel : Consultant international indépendant (1996- )

11. Qualifications principales (liée au projet): Économiste principal chercheur et praticien dans le domaine de l’emploi au Bureau international du Travail (1968-1992)

Cv jpnicolau / 2011

• Chef de l’unité d’évaluation du Bureau international du Travail (1981-1992) – projets d’investissements orientés emploi

• Directeur d’études en formation-emploi au BIT – 1992-1996

• Consultant international indépendant dans l’évaluation, la conception ou l’analyse de systèmes d’information en formation-emploi de 1996 à présent

• Expert enregistré dans le domaine 19 du Service Commun des Relations extérieures de la Commission européenne ;

• Bonne connaissance de l’appui budgétaire au secteur de l’enseignement professionnel.

• Chef de missions d’évaluation dans de nombreux pays (Tanzanie, Népal, Tunisie, Maroc, Rwanda…) et dans différents domaines : investissements orientés emploi, artisanat, éducation, formation, agence d’emploi, sécurité sociale …).

12. Publications pertinentes au projet :

� “Vocational Education and Training: Definitions, Taxonomy and Measurement Issues”, Training Occasional Papers, No. 10, BIT, Genève., 1994

� “International Trends in skill development”, in The Skill Development System in Cyprus, Industrial Training Authority of Cyprus and the ILO, Nicosia, 1995.

� “Relations entre les nouvelles formes de travail, la formation et l’insertion professionnelle”, Training Policy Studies No. 23, ILO, Geneva, 1995 ;

� “Esquisse méthodologique d'un système d'information d'aide à la décision en matière d'emploi-formation dans les pays en développement” in Outils d'analyse et d'aide à la décision dans les pays en voie de développement, Groupe de Recherche Lillois-URA CNRS Tiers-Monde/Afrique, Faculté des Sciences Économiques & Sociales, Université des Sciences & Technologies de Lille, Villeneuve d'Ascq, 1995.

� “L’insertion des jeunes et les politiques d’emploi-formation”, Cahiers de l’emploi et de la formation, BIT, Genève, 1997

� “Evaluating public training and employment programmes” in : Evaluation of European Training, Employment and Human Resource programmes, CEDEFOP Panorama. Thessaloniki, 1997.

Cv jpnicolau / 2011

Expert Education 1. Nom de famille : BERNEDE

2. Prénoms : Jean François:

3. Date de naissance : 08/03/1940

4. Nationalité : Français

5. Résidant : Belgique

13. Education :

Institution [Date] Diplôme(s) obtenu(s) Ecole Nationale Supérieure de l’Aéronautique-Paris, France. 1959- 1962 Ingénieur Civil de l’Aéronautique et de l’Espace –

1962 Stanford University – Palo Alto, USA – Sept. 1962 à Juillet 1963 Master of Sciences (MS) in Systems Analysis - 1963 Université de Paris Sorbonne –Paris, France - Sept.1960 à Juin 1965 Licence en Sciences Economiques - 1965

Autre formations: Planification éducative, relations marché du travail/ éducation, évaluation projets éducatifs

14. Connaissances linguistiques (par compétence de 1 à 5, 1 étant le maximum):

Langues Lues Parlées Ecrites Français 1 1 1 Anglais 1 1 1 Espagnol 1 1 1 Portuguais 1 2 2 Bahasa Indonesia 2 2 3

8. Autres connaissances :

Windows XP, 7 (Word, Excel, Power Point) 9. Expérience spécifique liée à la région :

Pays Date début - Date fin Algérie 09/2007-12/2009

Syrie (réforme éducation secondaire) 03/2010 – ce jour Yemen (formation professionnelle secteur

aéronautique) 09/2004 à 01/2006

Maroc (évaluation projet BM ENSET) , 11/1994

10. Emploi actuel : Consultant indépendant-actuellement chef équipe projet UE de réforme de l’éducation secondaire en Syrie

11. Qualifications principales (liée au projet):

o Mise en œuvre et évaluation de projets PNUD, UNESCO, BIRD, CE dans le secteur de l’éducation nationale ; o 15 ans d’expérience, comme chef d’équipe pour le développement et l’évaluation d’institutions éducatives (aux niveaux central et

/régional) dans le cadre de réformes éducatives (République Dominicaine, Indonésie, Yémen); o 10 ans d’expérience dans le développement systémique de programmes de formation technique et pédagogique du personnel dans le

cadre de réformes des enseignements de base et secondaire (Algérie, République Dominicaine, Syrie) o Coordination pour l’UNESCO dans la région MEDA de politiques d’appui aux réformes de l’enseignement secondaire sur la base

d’évaluations de l’efficacité pédagogique ; o Formation en politiques et modalités de l’approche budgétaire sectorielle CE (ABS) pour le personnel du Siége de la CE

(EuropeAid, DGDev, DGRelex) et des Délégations CE (Ethiopie Maroc, Sénégal, Inde, Bolivie, Nicaragua, Nigeria) o Représentant régional de l’UNESCO pour l’Afrique Centrale (19981-1993), Chef de projet PNUD/UNESCO pour la planification

des systèmes éducatifs (Algérie, Brésil, Guatemala), chef du bureau Europe-Pays arabes au siège UNESCO (1983-1985) 12. Publications pertinentes au projet :

o "L’analyse de systèmes appliquée aux politiques et programmes éducatifs et aux évaluations de projets " – J.F.Bernede et al. – Presses de l’UNESCO - Paris - 1980

o "El Proyecto Red de Sistemas educativos para el desarrollo en Centroamerica y Panama" – J.F.Bernede – monographies IBE UNESCO - Genève 1983

o Lignes Directrices et Manuel d’application des Programmes d’Appui Budgétaire Sectoriel (co-auteur) – EuropeAid -Bruxelles 2003 o Articles et documents de cours (UNESCO, CE, BM) sur les outils de l’approche sectorielle et de l’ “Approche Systémique”

appliqués à, l’ingénierie éducative et méthodes d’évaluation participative de projets éducatifs (éducation formelle et non formelle continue).

Cv jpnicolau / 2011

Expert Formation – Emploi – Ressources humaines (chef d’équipe) 1. Nom : NICOLAU

2. Prénoms : Jean-Paul

3. Date de naissance : 22 avril 1941

4. Titulaire d'un passeport : Français

5. Formation et Diplômes :

Institution Date (de – à) Diplômes obtenus ÉCOLE NORMALE SUPÉRIEURE (ENS) Cachan 1963-1967

Certificat d'Aptitude Pédagogique à l'Enseignement Technique (CAPET)

CENTRE de Perfectionnement pour le Développement et la Coopération Économique et Technique, (CPDCET) Ministère de la Coopération, Paris. 1985-86

3ème CYCLE (DESS): Économie du développement. Travaux personnels de recherche : Évaluation et conception des projets. Méthodologie d'audit.

ÉCOLE SUPERIEURE des PERSONNELS d'ENCADREMENT de l'Education Nationale, Paris. 1993

Inspecteur (Enseignement Technique et Formation Professionnelle / Education Nationale).

Formation continue : Régulièrement, nombreux stages et séminaires sur les domaines d'activité. 6. Connaissances linguistiques : Indiquer vos connaissance sur une échelle de 1 à 5 (1-excellent; 5- rudimentaire)

Langue Lu Parlé Ecrit Français 1 1 1 Anglais 3 3 3

7. Appartenance à un (des) organisme(s) professionnel(s) :

• Association Française pour le Développement de l'Enseignement Technique • Réseau de Sociolinguistique et Dynamique des Langues de l'Association des Universités Francophones. • Association Française des Administrateurs de l'Education

8. Autres compétences : maîtrise des logiciels courants de bureautique 9. Situation présente : Consultant indépendant Ancien Inspecteur (Éducation Nationale Française / Enseignement technique et formation professionnelle) 10. Qualifications clé : (Concernant le secteur indiqué)

Domaines de compétences :

• Projets de développement • Ressources humaines • Ingénierie de formation • Management

Compétences spécifiques :

• Evaluation, conception et pilotage de projets de développement, formation, emploi et éducation

• Conseil en management & gestion des ressources humaines • Conseil, expertise en formation professionnelle, emploi et éducation • Management d'institutions et de dispositifs de formation. • Médiation. Négociation. • Organisation / Démarche qualité • Structuration institutionnelle / Formation-Emploi • Planification - Financement de la formation

• Relations emploi-formation, état-agents non étatiques, public-privé • Elaboration de Référentiels d'emploi & Référentiels de formation • Identification des besoins / Bilans de compétences • Contrôle des procédures de qualification • Elaboration de plans de formation • Animation d'équipes, groupes de recherche,… • Audits qualité • Animation des partenariats "entreprises - opérateurs de formation" • Ingénierie pédagogique: Alternance. Apprentissage. Formation des adultes

11. Expérience spécifique dans la région:

Pays Date début - Date fin Tunisie mai-juil2011 ;fev-mar 2010 ;2005 ; 2002 ;2001 Algérie nov08-janv09 ; nov-dec2007 Maroc

Mauritanie 1991 à 1996

Cv jpnicolau / 2011

Date Lieu Société ou PTF Descriptif mai-juin et juil 11 Tunisie UE Eval (chef mission)ABS / Education et Formation

professionnelle juin 2011 Mali Lux-Development Evaluation (chef de mission / 4 experts) : Eval de 5

projets dont Formation professionnelle, avr-mai 2011 Mali Swiss-Contact Formulation de projet d’ appui à la FP janv-fev 2011 Mali DDC/ Coop suisse Eval (chef mission) projet Appui à la Formation Pro nov-dec 2010 Gabon FED /CE Evaluation (chef mission) projet Appui à la FP avr-mai10; juil-sep10 Côte d’Ivoire FED/ CE Evaluation et Formulation de projets /EFTP fev-mars 2010 Tunisie UE Identification-formulation de prog ABS / Emploi (chef

mission, 4 experts) dec09-janv10 mars-juin 09

Comores UE / FED Identification-Formulation Projet /FP (chef mission 2 experts)

fev2009 Burundi Coop belge Eval projet FP/ Police (chef mission 2 experts) nov2008 à janv 09 Algérie Projet MEDA / UE EXPERT /Projet Appui au MEFP: Implanter un

dispositif de contrôle de la performance de la FP juin -aoùt 2008 Angola

Huambo Projet BAD

Chef de mission (4 experts) / Projet Appui à la restructuration de la FP dans la province Huambo

mai 2008 Sénégal Lux-Dev Eval projet FP /création de centres avri08 Sénégal Lux-Dev Evaluation projet ET-FP création d’un LT Nov-dec 2007 Algérie UE Expertise / Formation chefs d’établissts juil 2007 Mali Lux-Dev Formulation de projet décentralisation ET-FP Juil-sep 2006 Tunisie UE EXPERTISE / Formation des inspecteurs de

l’Education à la démarche Qualité Avr-mai2à06 Algérie UE Formation des chefs d’établist à la démarche projet nov04-mai06 Maroc ETF Evaluation /Impact de la form continue sur les

performances des entreprises (chef mission 7 exp) avr-dec 04 Maroc UE / Meda Expertise / Mise en place Formation alternée oct 2006 à oct 2007 Burundi

Bujumbura Projet BAD

EXPERT / projet "Renforcement des capacités institutionnelles" Conseil et Formation

nov 2005 Sénégal Lux-Dev Evaluation de projet ET-FP juin-sep 2002 Tunisie UE Etude faisabilité / Réforme enst sup / Employabilité Nov 2003 Gabon Coop Fr Etude faisabilité / Implantation Apprentissage mai-juin 2001 Tunisie UE Manform Eval création de centres sectoriels de formation 1999 et 2000 Tunisie UE Manform Expertise / référentiels de formation 1996 à 2003

France. Strasbourg

Ministère de l'Education Rectorat de l’Académie de Strasbourg

INSPECTEUR / Suivi-Evaluation des dispositifs académiques de FP - Coord prog Qualité des CFA. Membre du comité national de pilotage de l'apprentissage public. Correspondant avec les organisations non étatiques et Patronat,… Chargé de missions de coopération internationale.

1996 à 2000 Roumanie CE / Tempus EXPERTISE Implantation d’un dispositif de FC 1997 Niger Coop FR Etude faisabilité projet réforme institutionnelle ETFP 1991 à 1996 Mauritanie

Nouakchott Cofinancement Coop Fr et BM.

CHEF DE PROJET / Formulation et Pilotage d'un projet de restructuration du système de FP et ET

1991 Madagascar FED Eval projet / Centre form entreprises 1987 à 1991

Côted'Ivoire Abidjan

Coopération Française

CONSEILLER TECHNIQUE du Ministre de l’ETFP / Chargé de l'Enseignement Technique Supérieur

1977 à 1985

Côte d'Ivoire Coopération Française

DIRECTEUR de l'Institut Univ de Technologie (METFP)

1974 à 1977 Côte d'Ivoire Ministère français de la Coopération

DIRECTEUR de l’ École Nationale Supérieure d'Ingénieurs d’Abidjan

1970 à 1974 Belfort Fr Univ de Besançon CHEF Département Génie Mécanique d'IUT

12. Expérience professionnelle

12. Autres qualifications : depuis 1999 2001-2003 1986-2007

Enseignement à l'Université Paris V Sorbonne (Master Pro "Expert en Education et Formation") Animation de gr de recherche (Académie Strasbourg) : méthodes et outils d'évaluation de la formation Animation de séminaires (Alsace et Paris et Afrique, Europe) Animation de groupes métiers Publications universitaires : « La Formation Professionnelle en Mauritanie : Vers un bilinguisme raisonné ». Actes des journées scientifiques de l'UREF Dakar déc 1995 "Les politiques linguistiques, mythes et réalités" Collection Universités Francophones, 1996. « Langues et Enseignement Technique et Professionnel en Mauritanie ». Actes du colloque "Les difficultés linguistiques des jeunes en formation professionnelle courte". Université Paris X déc 1994- Lynx CRL Nanterre n° spécial 1995. « La formation des Techniciens de l’Eau en Mauritanie ». Actes du colloque "La protection des réserves naturelles d’eau". Université de Nice 1995. « La formation des ingénieurs en Afrique en 1990 » AUPELF 1989 Conseil en entreprise / GRH

Annexe1 : Liste des personnes rencontrées et leurs contact s

NOM PRENOM TITRE CONTACTS

DELEGATION DE L'UNION EUROPEENNE

MILLECAM Françoise Mme Chef de coopération 00 216 71 960 330 françoise.millecam@eeas.europa.eu

LYAMOURI Abdelaziz M Chargé de programmes 00 216 71 960 330 Abdelaziz.lyamouri@ec.europa.eu

INSTITUTIONS NATIONALES

SAIDI Hedi M Directeur BEPP/Min Education hedi.saidi@mineduc.edunet.tn

GAHA Kameleddine M Directeur Général CNIPRE 00 216 71566964 kameleddine.gaha@cnipre.edunet.tn

HADDED Mounir M Directeur du Budget 00 216 71567548

EZZEDINE Hatem M S/D à la Direction Générale de l’Evaluation et la Qualité 00 216 98800729 ez.h@laposte.net

ESSID Kamel M SG du CNIPRE 00 216 71569530 abouyoussef@minedu.edunet.tn

BOUKHARI Amel Mme DG CENAFFE 00 216 24722749 Am..boukhariaposte.net

CHAABANE Magid M Directeur de la vie scolaire et des écoles primaires Magid.Chaabane@minedu.edunet.tn

SANK Loussaif M S/D vie scolaire – DG cycle préparatoire et enseignement secondaire 00 216 71565622

HADDAD Adel M Commissaire Régional à l’Education (CRE) - NABEUL 00216 95519979 Adel.sophia@yahoo.fr

GHARBI Nawel Mme DG du CREFOC – Gouvt NABEUL 00 216 26078840 Nawel_gharbi@yahoo.fr

KHARRAZ Nejib M S/D Enseignement Secondaire – CRE NABEUL Oula.of@hotmail.fr

GOUISSEM Mohammed M S/Animation Culturelle – CRE NABEUL 00 216 98502065 Mohamed.gouissemmail.com

BOUGHATTAS Ons Mme Conseillère / Chef service Coopération / MFPE 21185697 ons.boughattas@mfpe.gov.tn

RAOUANI Khaled M Dr de la programmation des projets / MFPE

ESSAFI Sinene M Conseiller / Dion Programmation des Projets / MFPE

FATMA Moussa M Dr Prospective et Planification / MFPE 71 791 572

TOUMI Brahim M DG ATFP / MFPE 71 830 151 brahim.toumi@edunet.tn

LACHHEB FEZZANI Saloua Mme Drice de l’Unité de la Coopération Internationale / ANETI

RAIS MGHIRBI Monia Mme Ingénieur Chargée de mission au cabinet / MFPE monia.mghirbi@mfpe.gov.tn

STAMBOULI Med Salah M DG CENAFFIF / MFPE 71 443 994 direction.generale@cenaffif.nat.tn

CHERIF Dora Mm DG CNFCPP / MFPE 71 788 106 dg.cnfcpp@edunet.tn

BEDRIR Mimouni M Dr Service aux Entreprises / CNFCPP / MFPE 98 651 909 dse.cnfcpp@edunet.tn

KALLALA Med Riadh M Dr de la Promotion Professionnelle / CNFCPP / MFPE 71 25 67 35 ipstunis.cnfcpp@edunet.tn

MOUSSA Mme Drice ONEQ / MFPE

ORGANISATIONS PROFESSIONNELLES / ENTREPRISES

BACHA Rafika M Dir de la Formation / UTICA 71 142 040 r.bacha@utica.org.tn

ABID Taleb M Fédération du Bâtiment /UTICA 22 54 98 32

NEMSIA Hosni M DG ISTIS (Institut de Sondage) 71 79 49 26

ZAAFRANE Hafedh M Economiste / Consultant 71 28 20 56 hafedh@zaafrane.com

Annexe 4 : Synoptique de la démarche d’investigati on auprès des principaux acteurs

Annexe 5: Documents consultés

Commission Européenne

1. Général - Évaluation des opérations d'aide budgétaire de la Commission Européenne à la

Tunisie entre 1996 et 2008, rapport final, mars 2011 - Méthode d’évaluation des opérations d’aide budgétaire au niveau des pays. Note

d’orientation, mai 2008 - « Country level evaluation » , Unité commune d’évaluation, 2000 - « Le soutien de l’UE à la société civile - Objectifs, défis et stratégies de réponse »,

Tunis, avril 2011 - « Évaluation de la coopération avec la Tunisie gérée par la Commission

Européenne » (1995-2008), présentation PP des rapports de synthèse, avril 2011. - PEFESE « Programme d'appui à l’éducation, à la formation professionnelle, à

l’enseignement supérieur, et à l’employabilité des diplômés », Annexe 2 à la convention n° ENPI/2009/20511, Dispositions techniq ues et administratives

- UE- BM-BAD : « Performance de la gestion des finances publiques en Tunisie », juin 2010

2. Programme d’appui à la mise à niveau de la forma tion professionnelle – MANFORM II

- Convention de financement, 2006 - Formulation du programme d’appui à la modernisation de la formation professionnelle

en Tunisie MANFORM II, avril 2007 o Liste et définitions des indicateurs, juin 2007

- Stratégie de développement du secteur de la formation professionnelle 2007-2011, février 2007

o CBMT - « Mise à niveau de la formation professionnelle en Tunisie MANFORM », évaluation

finale, 2009. - JORT Décret n° 2010-84 du 20 janvier 2010, portan t transfert d'attributions de l'ex-

ministère de l'éducation et de la formation relatives à la formation professionnelle au ministère de la formation professionnelle et de l'emploi.

- JORT : Décret n° 2009-2139 du 8 juillet 2009, fix ant la classification nationale des qualifications

- Rapports de suivi/évaluation o Mission n°1 (22/9 au 4/10/2008) Rapport provisoire , o Rapport d’évaluation n°1, novembre 2008 o Mission n°2 (4/5 au 16/5/2009) o Rapport d’évaluation n°2, juillet 2009

� Compléments : analyse macroéconomique, octobre 2009 - CENAFFIF : Portrait de secteur 2009

o Agriculture o Agroalimentaire o BTP et matériaux de construction o Construction métallique et soudure o Services

o Rapport de validation des portraits de secteur par l’UTICA et les secteurs concernés, avril 2009

- « Rapport d’activité du groupe observatoire », mai 2009 - RNQFP : Fascicule de mesure du référentiel national de la qualité de la formation

professionnelle, 1ère phase, 2003 ,

3. Programme de modernisation de l’enseignement sec ondaire en Tunisie

- JORT Décret n° 2010-2205 du 6 septembre 2010, por tant création des commissariats régionaux de l'éducation

- « Convention de financement : modernisation de l’enseignement secondaire », N° TUN/AIDCO/2005/017-210, 2005

- « Mission d’Assistance pour le développement du cadre des dépenses à moyen terme du programme de modernisation de l’enseignement secondaire en Tunisie », rapport final, décembre 2008.

a. Tableaux EXCEL b. Manuel de procédures

- Mission d'identification et de formulation du programme d’appui sectoriel à la Modernisation de l'Enseignement Secondaire », 2005

c. Annexes d. CBMT

- Programme d'appui à la réforme de l'Enseignement secondaire en Tunisie, monitoring report, rapport final, décembre 2008.

- Rapports de suivi

AMAL - Programme de relance de l’emploi AMAL, MFPE, « Termes de Références pour la

mobilisation d’expertise dans le cadre du Fonds d’Etudes et de Renforcement des Capacités (AFD) »

- Programme AMAL – accompagnement, formation, insertion, MEFP, mars 2011,

Lois, Décrets, Arrêtés

- PJ01-Loi n° 2008-10 du 11 février 2008, relative à la formation professionnelle - Arrêté du ministre de l’éducation et de la formation du 25 mars 2008, fixant la liste des

spécialités prioritaires… - PJ04-Décret n° 4147 du 18 décembre 2007 - Chèque formation - PJ05-Arrêté du MEF et du MF du 12 mars 2008, fixant le montant mensuel de la bourse. - PJ06-Arrêté de création du GEROCMI - PJ07-Rapport d'activité du GEROCMI - PJ10-Décret 2008-3737 du 11 décembre 2008 - PJ11-Décret n° 2007-3070 du 27 novembre 2007, Ins pection pédagogique - PJ12-Arrêté 21 mai 2008, Concours inspecteurs - PJ13-Liste Candidats admis au concours inspecteurs. - PJ14-Arrêté du 26 février 2009 fixant les conditions d'obtention du certificat de

compétence - PJ15-Attestations Favorables ISO, 3 centres - PJ16-Décret n° 2007-893 du 10 avril 2007

- PJ17-Décret n°2008-2899 création unité GPO - PJ18-Décret n° 2008-4112 du 30 décembre 2008 - PJ19 Arrêté de nominations et complément du décret sur le FNE - PJ20-Lettre Ministère des Finances CDMT.

Ministère de l’Éducation : - Annuaire statistique 2009-2010 (sur CD)« Évaluation finale du programme d’appui

sectoriel à la modernisation de l’enseignement supérieur en Tunisie », rapport final, janvier 2009

Banque africaine de développement : PAES I rapport d’achèvement Gueddana Nabiha : « Les bases sociales de la transition démographique de la population tunisienne » 2004. Toumi Brahim « Le système de financement de la formation professionnelle en Tunisie », 2009. La nouvelle réforme du système éducatif tunisien - Programme pour la mise en oeuvre du projet " Ecole de demain " ( 2002 – 2007 ), Octobre 2002 « Dictionnaire national des professions et des emplois », ONEQ, http://www.emploi.gov.tn/index.php?id=200 Med Naceur CHRAITI « La formation professionnelle en Tunisie : Pilotage par les besoins de l’Économie », 2009, ministère de la formation et de l’éducation Boubakri Hassen « Tunisie Migration, marché du travail et développement », BIT, 20101 http://www.ilo.org/public/french/bureau/inst/download/tunisie.pdf « Les bases sociales de la transition démographique de la population tunisienne », 2004 « Enquête nationale de l’emploi en 2010 – rapport de synthèse», INS, 2010. « Dictionnaire national des emplois et des professions » 2

1 http://www.ilo.org/public/french/bureau/inst/download/tunisie.pdf 2 http://www.emploi.gov.tn/index.php?id=200

En millions de DT 2006 2007 2008 2009 2010 2011 2012

2.125,083 2.324,231 2.447,488 2.629,385 2.873,688 3.120,826 3.395,458

1.890,960 2.069,780 2.222,591 2.393,361 2.610,292 2.833,993 3.083,259

58,200 62,400 65,400 68,400 76,780 82,539 88,729

19,463 26,146 28,270 28,824 33,324 37,824 42,660

1.968,623 2.158,326 2.316,261 2.490,585 2.720,396 2.954,356 3.214,648

156,460 165,905 131,227 138,800 153,292 166,470 180,810

2.063,823 2.273,282 2.398,538 2.576,797 2.816,214 3.058,409 3.327,548

61,260 50,949 22,950 21,950 24,000 27,000 30,000

61,260 50,949 48,950 52,588 57,474 62,417 67,909

30,638 33,474 35,417 37,909

39,2% 30,7% 37,3% 37,9% 37,5% 37,5% 37,6%

2006 : Budget réalisé

2007 : Budget réalisé

2008 : Budget en cours

2009 : Budget voté

2010/2011/2012 : budgets prévisionnels

Dépenses d'investissement (Titre 2)

Ratio financement exterieur /investissement en %

financement extérieurs consolidés

dont Besoins nouveaux

Financement dépenses MEF

Budget national

Financement exterieur (Données budget)

CADRE DE DEPENSES A MOYEN TERME DU MEF 2009-2012

Fonctionnement (moyens des services)

Transferts (dépenses d'intervention)

Dépenses d'investissement

Dépenses totales du MEF

Dépenses de fonctionnement (Titre 1)

Rémunération du personnel

TOTAL GENERAL PREVISIONNEL DES DEPENSES DE FONCTIONNEMENT

REPUBLIQUE TUNISIENNE MINISTERE DE L'EDUCATION ET DE LA FORMATION

PROFESSIONNELLE

Bureau des Etudes, de la Planification et de la Programmation

Objectifs Stratégiques Objectifs Globaux Objectifs Spécifiques

Atteindre 25 élèves par classe pour les classes terminales (4ème année

secondaire)X X X

Atteindre 15 élèves par enseignants dans le scondaire X X X

Réduction de la taille des classes élèves dans tous les cycles d'enseignements et

essentiellement dans les niveaux encombrés (7EB, 8EB, 1ES, 2ES,,,) X X X

Renforcement du réseau des établissements d'excellence X X X

Enseignements des langues par groupes X X X

Généralisation progréssive des laboratoires de langues X X X

Renforcement des bibliothèques scolaires et des avoirs des écoles en livres X Ratio:Livre Bib/Elève X X

Amélioration de la

qualité de formation,

d'encadrement et de

gestion

Mettre en place un plan d'action pour le renforcement du corps des enseignants

agrégés X

Ratio:

Enseignants

agrégés/Etablisse

ment

X X

Généralisation de l'enseignement des matières artistiques X X X

Instauration d'une branche d'enseignement artistique dans le secondaire X X X

Renforcement de l'infrastructure scolaire à travers l'accroissement de la capacité

d'acceuil (création et extension,,,) X X X

Réhabilitation des établissements scolaires X X X

Remplacement des équipements usés X X X

Renforcement des équipements pédagogiques et des outils scolaires X X X

Amélioration des conditions de logement dans les internats et essentiellement

dans les régions intérieurX X X

Promotion de

l'enseignement privéEncouragement de l'investissement privé dans le secteur de l'Education -

Accroissement

des élèves du

secteur privé

- -

Elève/Etablissem

ent qui en profite

% des élèves

dans la filière

1, % d'éxécution

du dépenses

allouées; 2:

Amélioration

Ratios

d'encadrement

Inspecteurs/ensei

gnant

Amélioration de la

qualité des

apprentissages et

instauration de la

culture de la réussite

et d'excellence

Diversification des

choix pour les élèves

dans les domaines

culturels et artistiques

Amélioration des

conditions

d'enseignement dans

les établissements

scolaires

La Stratégie Sous Sectorielle (ES) Objectifs

Plan d'actionsObjectifs

quantitatifs et/ou

qualitatifs chiffrés

Indicateurs de

suivi/d'évaluation

Impact direct sur

T2

(Investissement)

1-Elève

/Enseignant

2-Eléves/classe

Impact direct sur

T1 et charges

récurrentes

Ob

jectif s

traté

giq

ue n

° 2: A

élio

ratio

n d

e la

qu

alité

Am

élio

ratio

n d

es

ind

icate

urs

de la

qu

alité

et d

e l'e

fficacité

Amélioration des

indicateurs

d'encadrement et de

confort pédagogique

Am

élio

ratio

n d

es a

cq

uis

des é

lèves e

t du

niv

eau

de fo

rmatio

n e

t d'e

ncad

rem

en

t

Objectifs Stratégiques Objectifs Globaux Objectifs Spécifiques

Objectifs Plan d'actions

Objectifs

quantitatifs et/ou

qualitatifs chiffrés

Indicateurs de

suivi/d'évaluation

Impact direct sur

T2

(Investissement)

Impact direct sur

T1 et charges

récurrentes

Atteindre le niveau

d'un PC par classe

élève

Augmentation du nombre des PC dans les établissements scolaires X X X

Maintenance du

matériel informatique

et renouvellement

périodique du stock

existant

Continuation de la connexion des écoles au réseau internet X X X

Inté

gra

tion

des

NT

IC d

an

s le

pro

cessu

s

d'e

nseig

nem

en

t et

d'a

pp

ren

tissag

e

Formation dans le

domaine de

l'informatique et des

NTIC

Participation des élèves dans les journées ouvertes organisées pour découvrir les

opportunités offertes par l'outil Internet X X X

Fin

alis

atio

n d

e

l'insta

ura

tion

de

l'Eco

le v

irtuelle

Fournir des leçons

intéractivres

Extension du réseau des leçons fournies par l'école au niveau des matières

enseignées et des niveaux ciblesX X X

changement de la méthode de recrutement des directeurs des écoles X X X

Multiplication des nombres des salles de révision et des salles polyvalentes X X X

Renforcement des

activités culturelles au

sein de

l'environnement

scolaire

Généralisation des clubs culturels, sprotifs, de santé et d'environnement,,, X X X

Ob

jectif s

traté

giq

ue n

° 7:

Co

nso

lidatio

n e

t

Ren

forc

em

en

t de la

rela

tion

en

tre E

du

catio

n e

t FP

Cré

atio

n d

e p

assere

lles e

ntre

Ed

ucatio

n e

t form

atio

n

Pro

fessio

nn

elle

Création de filière

professionnelle dans

l'Education

Création des Lycées Professionnels X

% des élèves de

9èA orientés vers

les L PRO

X X

Taux de

participation des

parents,des

élèves et de la

société civile dans

l'animation de la

vie scolaire

1- Ratio classe

élève par

ordinateur

2-Taux de

connexion des

écoles à internet

3- Taux

d'éxécution de

l'investissement

de l'objectif

Réorganisation de la

vie scolaire

Ob

jectif s

traté

giq

ue n

° 4: M

ettre

en

pla

ce u

ne é

co

le d

e s

ocie

té d

e l'in

form

atio

n

Ren

forc

er le

s é

qu

ipem

en

ts

info

rmatiq

ues d

an

s le

s é

tab

lissem

en

ts

sco

laire

s

Ob

jectif s

traté

giq

ue n

° 5: A

mélio

ratio

n d

e la

vie

sco

laire

Am

élio

ratio

n d

e la

qu

alité

de la

vie

sco

laire

2005 2006 2007 2008 2009 2010 2011 2012

Total Budget (MEF) 1852,369 2047,912 2290,011 2447,488 2683,668 2934,442 3235,937 3539,757

T1+T2 (ACR) 39,158 41,643 51,574 51,450 54,555 60,210 64,512 68,862

Part Budget (ACR) dans le

Total Budget MEF 2,1% 2,0% 2,3% 2,1% 2,0% 2,1% 2,0% 1,9%

Total Titre 1 (MEF) 1759,868 1962,143 2147,914 2316,261 2544,841 2799,780 3084,669 3403,720

Total Titre 1 (ACR) 34,969 37,670 40,947 43,923 47,495 51,414 55,716 60,445

Part Titre 1 SS ACR dans le

Total Titre 1 MEF2,0% 1,9% 1,9% 1,9% 1,9% 1,8% 1,8% 1,8%

Total Titre 2 (MEF) 92,501 85,769 142,097 131,227 138,827 134,662 151,268 136,036

Total Titre 2(ACR) 4,189 3,973 10,627 7,527 7,060 8,796 8,796 8,417

Part Titre 2 dans le Total du

budget MEF4,5% 4,6% 7,5% 5,7% 5,1% 6,5% 5,8% 6,2%

Cadrage Sous Sectoriel (ACR)

Total Budget (ACR)

Titre1 (1EB)

Titre2 (1EB)

Année scolaire Moyens et servicesDépenses de

fonctionnementInterventions Enseigants

Agents

d'Encadrements

Agents de

laboratoiresOuvriers

Personnels

Administratifs et

Techniques Total MYSR/I Total MS Total T1

2004

2005 25,753 41,440 15,098 414,257 29,250 8,580 28,765 9,048 82,291 489,900 572,191

2006 26,766 42,760 15,994 455,097 36,338 9,850 32,220 10,105 85,520 543,610 629,130

2007 30,561 46,318 21,623 521,317 43,040 11,242 35,772 11,668 98,503 623,039 721,542

2008 31,588 46,718 21,257 584,466 48,599 12,798 40,296 13,156 99,563 699,314 798,877

2009 34,088 49,241 24,623 645,472 57,204 14,297 44,960 14,699 107,952 776,633 884,585

2010 36,898 52,036 28,459 710,110 66,510 15,867 50,336 16,480 117,392 859,303 976,695

2011 40,101 55,306 34,143 780,160 77,231 17,669 55,872 18,325 129,549 949,257 1.078,806

2012 43,740 59,012 42,104 855,758 84,537 19,384 61,568 20,234 144,856 1.041,480 1.186,336

Cout Total ou charge récurrentes de l'exercice (Masse Salariale Annuelle+Moyen/Service et Interventions) -2EB+CT

Moyen/services et interventions Masse Salariale

Année scolaire Moyens et servicesDépenses de

fonctionnementInterventions Enseigants

Agents

d'Encadrements

Agents de

laboratoiresOuvriers

Personnels

Administratifs et

Techniques Total MYSR/I Total MS Total T1

2004

2005 0,000 0,000 21,288 641,300 0,000 0,000 28,600 0,000 21,288 669,900 691,188

2006 0,000 0,000 21,068 710,314 0,000 0,000 32,520 0,000 21,068 742,834 763,903

2007 0,000 0,000 30,583 771,548 0,000 0,000 35,970 0,000 30,583 807,518 838,101

2008 0,000 0,000 31,124 836,862 0,000 0,000 40,070 0,000 31,124 876,932 908,056

2009 0,000 0,000 37,000 902,280 0,000 0,000 45,200 0,000 37,000 947,480 984,480

2010 0,000 0,000 44,000 964,080 0,000 0,000 51,040 0,000 44,000 1.015,120 1.059,120

2011 0,000 0,000 54,000 1.025,880 0,000 0,000 57,120 0,000 54,000 1.083,000 1.137,000

2012 0,000 0,000 68,000 1.087,680 0,000 0,000 63,440 0,000 68,000 1.151,120 1.219,120

Cout Total ou charge récurrentes de l'exercice (Masse Salariale Annuelle+Moyen/Service et Interventions) -1EB

Moyen/services et interventions Masse Salariale

Etabli à partir des données disponibles le :

En millions de DT 2006 2007

58,2 62,4

58,200 62,400

58,200 62,400

5,500 5,800

Cycle primaire 0,000 0,000

22,000 23,600

30,700 33,000

9,45% 9,29%

Cycle primaire 0,00% 0,00%

37,80% 37,82%

52,75% 52,88%

Administration C et R

Cycle prépratoire

Enseignement secondaire

Cycle prépratoire

Enseignement secondaire

CADRAGE DE DEPENSES Moyen et Service par SS 2009-2012

Dépenses De Moyen et Sercice du MEF

Administration C et R

REPUBLIQUE TUNISIENNE MINISTERE DE L'EDUCATION ET DE LA FORMATION

PROFESSIONNELLE

Bureau des Etudes, de la Planification et de la Programmation

2008 2009 2010 2011 2012

65,4 68,4 76,7803302 82,53885496 88,72926908

65,400 68,400 76,780 82,539 88,729

65,400 68,400 76,780 82,539 88,729

6,400 6,700 7,678 8,254 8,873

0,000 0,000 0,000 0,000 0,000

24,400 25,400 29,177 31,365 33,717

34,600 36,300 39,926 42,920 46,139

9,79% 9,80% 10,00% 10,00% 10,00%

0,00% 0,00% 0,000 0,000 0,000

37,31% 37,13% 38,00% 38,00% 38,00%

52,91% 53,07% 52,00% 52,00% 52,00%

CADRAGE DE DEPENSES Moyen et Service par SS 2009-2012

Annexe 8 : Liens entre les axes stratégiques et l es indicateurs

1 Annexe 9 : Tableau de bord du Dispositif d’Observat ion de la Formation Professionnelle et de l’Emploi

Étude préalable à l’identification des indicateurs

Cette présentation est un sous-ensemble, ciblé vers les diplômés de la FP en recherche d’emploi et des offres d’emploi des entreprises, relatif à la composante II « Système d’information et d’orientation » du projet PEFESE.

La formation professionnelle n’a qu’un but : conduire à l’emploi ou offrir une employabilité supérieure aux chômeurs ou aux employés en marché interne (promotion) ou externe : professionnelle (ou intersectorielle) éventuellement pour un gain supérieur. Donc la FP est indissociable à l’emploi d’une part, aux entreprises de l’autre. Un tableau de bord a minima devrait pouvoir connecter les trois bases de données afférentes :

- Les entreprises (par métiers et niveau de qualification)

- L’emploi (par métiers1 – NNP à re-classifier vers ROME ?) - ONEQ

- La formation professionnelle. (ATFP) par spécialités de formation2.

Les entreprises demandent des emplois par métiers et professions tandis que les centres de formation professionnelle forment des apprenants ou des apprentis selon des spécialités. Dès la sortie du système formatif, les jeunes recherchent ou occupent des emplois qui ne « correspondent » pas forcément aux spécialités qu’ils ont étudiées pendant leurs études. Ainsi, Une double interrogation refait surface régulièrement :

- Y-a-t.il inadéquation de l’offre de formation, dénonçant tantôt une inadaptation des formations professionnelles, tantôt un mauvais calibrage des flux de formés par secteur aux besoins de recrutement des entreprises ? Et/ou :

- Y-a-t-il dysfonctionnement du marché du travail qui conduirait à une mauvaise affectation des compétences dans l’allocation sur les postes de travail ?

Une table de correspondance doit être établie entre spécialités fournies par le système de formation et emplois/professions fournis par la nomenclature actuelle NNP. Elle constitue un outil précieux pour analyser les liens formation-emploi et leur évolution dans le temps. Elle peut en outre permettre de révéler les limites d’une vision trop «déterministe » de ces liens.

Il est proposé d’esquisser la mise en place d’un tableau de bord contenant les indicateurs clés relatifs à la formation professionnelle et à l’emploi. Ce tableau de bord est censé assurer un

1 NNP Nomenclature nationale des professions 2 Paradoxalement, obtenir un premier emploi correspondant strictement à sa formation initiale n’est souvent pas la norme, en dehors de quelques professions ou formations bien réglementées. Cette « adéquation » se détériore même, le plus souvent, au fil de la carrière dans des secteurs peu attractifs. Si le niveau de diplôme assure en général un risque de chômage moindre et un salaire plus élevé, l’impact de la spécialité de formation est plus complexe. Les formations professionnelles ne procurent pas seulement des compétences spécifiques à un domaine d’emploi mais aussi, et peut-être tout autant, des compétences générales et transférables. Qui plus est, une fois la carrière engagée en décalage avec la spécialité de formation initiale, l’expérience spécifique cumulée prendrait le pas sur les acquis de la formation initiale.

2 meilleur suivi de l’évolution des différents paramètres du marché de l’emploi et de la formation professionnelle.

Le tableau de bord présente, en quelques vues simples, explicites et structurées, les indicateurs clés construits à partir du dispositif formation-emploi. Instrument d'aide à la décision, le tableau de bord doit comporter à la fois des vues de détail pour mieux comprendre la situation et des vues de prospective et de veille économique pour anticiper. L’objectif à atteindre est donc de créer un système coopératif inter-acteurs du domaine de l’emploi et ceux de la formation professionnelle à fin de dégager des indicateurs sectoriels et intersectoriels pertinents et effectifs.

Dans un premier temps, une vingtaine de spécialités de formation et une cinquantaine de métiers/professions pourraient être connectés via une table de correspondance.

Pour y parvenir, il s’agit de mettre en place :

- Un système de gestion des offres/demandes d’emploi fournies par l’ANETI avec un dictionnaire des termes utilisés à normaliser

- Un référentiel commun des nomenclatures

- Des moyens performants d’échange et d’exploitation des données et des informations.

- Des procédures permettant de :

o Réglementer les échanges de données et l’alimentation de la base des indicateurs.

o Préciser la forme, le concept et la périodicité des données à échanger.

o L’engagement des structures impliquées dans l’alimentation de la base (ATFP, ANETI, INS, …).

- Un système de diffusion du tableau de bord.

- L’idée centrale pour la mise en place du tableau de bord est de partir de l’existant :

- l’annuaire statistique de l’ATFP fournissant :

o les spécialités de formation et leur programme

o les flux entrants et sortants

o les enquêtes d’insertion

- la NNP fournissant les professions/emplois. et établir la table de correspondance y afférente.

- les données sur les demandes, les offres et les placements (ANETI, élaborés à partir des données de base des bureaux de l’emploi).

- Une fois la table de correspondance établie, le tableau de bord est alimenté par le calcul des indicateurs formation, emploi et formation-emploi à identifier.

3 Niveau 1 National

La mise en place d’une base de données fédératrice, intégrant les indicateurs des deux domaines formation-emploi, séparément et conjointement, assure :

• Une meilleure connaissance du marché de l’emploi et du dispositif de la formation professionnelle.

• Un suivi et une évaluation des efforts déployés par l’État pour résorber une fraction du chômage et du sous-emploi (y compris le travail parcellaire) ;

• La mesure de l’efficacité des instruments et dispositifs d’insertion mis en place.

• Une meilleure maîtrise de l’adéquation entre l’offre formative et la demande d’emploi (en nombre et en qualifications), par une meilleure connaissance des besoins des employeurs.

• Une meilleure connaissance de l’employabilité régionale.

• La mise à disposition d’un réservoir d’indicateurs permettant la réalisation des études.

• L’élaboration de la carte nationale de l’emploi-formation.

Niveau 2 régional

La mise en place d’une base de données par région consiste à mettre en place une structure centralisée pour la gestion et le traitement périodique des transmission de données de données:

• Réception des données et relation avec les fournisseurs des données.

• Saisie et contrôle des données reçues.

• Transformation et consolidation des données.

• Alimentation de la base de données des indicateurs.

• Mise à disposition du tableau de bord.

Schéma 1 synoptique du système projeté

Enquêtes

ATFP

ANETI

Col

lect

e, tr

ansf

orm

atio

n,

cons

olid

atio

n et

alim

enta

tion

Processus de stockage

Administration

Processus de transformation

Processus de production

Schéma 1 synoptique du système projeté : niveau national

d’exploitation

Diffusion du t

Tableau de bord

0

20

40

60

80

100

1er trim.

4e trim.

Est

Ouest

Nord

Base de données Base de données Base de données Base de données

des des des des indicateursindicateursindicateursindicateurs

Processus de stockage

Administration

Processus de diffusion

4

Processus d’exploitation

Diffusion du t ableau de bord

Tableurs

Logiciels statistiques

Axes d’analyse

5

Schéma 2 synoptique du système projeté : niveau régional

Unité de gestion de la Région

Structure locale de la Région

Unité centrale de gestion du tableau de bord

• Réception des données • Saisie et Traitement des données

produites par les organismes externes (INS,…)

• Mise à jour de la base des indicateurs

• Validation des indicateurs

• Réception des tableaux de la région • Saisie et Traitement des tableaux

des organismes externes. • Mise à jour de la base des

indicateurs

• Élaboration des tableaux • Transmission à la Région

Tableaux des organismes

externes

Base des indicateurs du tableau de bord

Tableaux des organismes

externes

Evaluation ABS Manform II / juillet 2011 1

Critères Qualité en FP / Cadre de référence : Les schémas et descriptifs suivants présentent un cadre de référence « expert », implicite de ce que "pourrait" ou "devrait" être un système de formation professionnelle [ou un programme d’appui à un dispositif de formation], inscrit dans une démarche qualité.

Ce cadre de référence est implicite parce qu'il est représentatif d'une expertise en matière de formation professionnelle. Il n'est donc pas "contractuel". Il définit les principaux critères d’efficacité d’une DEMARCHE QUALITE DANS UN DISPOSITIF DE FORMATION selon le cycle de projet (ou de progrès). Ce référent est un outil utile pour conduire une analyse systémique d’un dispositif de formation. Il peut aider à expliquer des écarts de résultats, pour en identifier les causes et proposer des solutions de remédiation.

Il peut également être utilisé dans le cadre du management d'un dispositif plus complexe de formation professionnelle pour y conduire une politique de développement contrôlé et un pilotage par objectifs.

ANNEXE 10

Evaluation ABS Manform II / juillet 2011 2

Démarche QUALITE dans le système de formation / Cy cle de projet L'objectif du système de formation figure au centre du schéma qui est caractérisé par une boucle fléchée représentant la chronologie du cycle de projet.

Evaluation des

résultats et des effets

Mécanismes d’aide à

l’insertion

Gestion des coûts

Gestion des RH, des moyens et des activités

Recherche

de financement

Management

Identification des

besoins Budgétisation

Programmation

Elaboration de l'offre de formation

Communication

Communication

Préparations pédagogiques

Activité s partenariales

Implantation des

partenariats

Réalisation des formations

Evaluation ABS Manform II / juillet 2011 3

Analyse économique et de l'emploi

Analyse des métiers

Analyse sociale

Cadre de référence : Démarche QUALITE dans le dispositif de formation / Cycle de projet

Evaluation des résultats

Mécanismes de financement

(Recherche et gestion)

Conduite des projets

(projets de formation et de GRH)

Management

Suivi des formés

(Emploi, GRH)

Appréciation des besoins en

compétences et en formation

Mécanismes d’aide à

l’insertion

Budgétisation Programmation

Mise en oeuvre

de la FP

Gestion des ressources externes. Capitalisation

Mutualisation Recherche

Appréciatio n des at tentes et des besoins de la population et tous

demandeurs d'emploi

Gestion des modes [alternance, formation continue,

scolaire, mises en situations professionnelles,…

Gestion des infrastructures et des équipements

Gestion de s RH et des activités

de formation

Elaboration, négociation et validation des projets de

formation et de restructuration du S/FP Filières-Objets de formation

Ressources humaines Equipements Infrastructures

Organisation Partenariats Ressources budgétaires

Communication et Concertation

/ Partenaires

1

3

1-3

Communication et Concertation

/ Partenaires

Utilisation des produits de la mutualisation

7

Elaboration des programmes et des outils pédagogiques

Activités partenariales entre la FP (opérateurs de formation) et les acteurs économiques (Artisans, exploitants, entreprises)

p p

6

2

Implantation des partenariats

p Gestion

des coûts

Animation

Encadrement des formations

4

5

Evaluation ABS Manform II / juillet 2011 4

Structurées en système 1, et situées dans la chronologie d’un cycle de projet , les différentes fonctions qui constituent un « bon » projet relatif à une problématique de formation professionnelle contribuent chacune, séparément et ensemble, à l'atteinte de l'objectif essentiel d’un projet de FP, à savoir l'emploi, dans sa caractéristique économique (satisfaire les besoins en compétences des opérateurs économiques) et dans sa caractéristique sociale (l'insertion 2 professionnelle des formés qui, ainsi, peuvent disposer d'un revenu).

L'implantation d'un système (ou d'un projet) de formation professionnelle respectera naturellement cette structuration "systémique".

Les bénéficiaires directs du système de formation professionnelle, les formés, sont dans le contexte et la conjoncture actuelles, les jeunes sortants du système scolaire (ou universitaire) en quête de qualification, les adultes à la recherche d'un emploi, les personnes travaillant en demande de complément de compétences, et les groupes défavorisés sans emploi (jeunes exclus de l'école ou non orientés, adultes très démunis, exclus de la société, analphabètes), ceux-ci étant les plus nombreux.

Les bénéficiaires indirects de ce système de FP sont tous les acteurs de l'économie qui "procurent" de l'emploi : les entreprises, les exploitations agricoles, les services, l'artisanat, les commerces, l'administration, le secteur informel urbain et rural,…

On conviendra alors que le concept de formation professionnelle inclut tous les modes de formation, pour tous les secteurs économiques et de quelque niveau que ce soit, dès lors que la formation est conçue pour pouvoir exercer, au terme de celle-ci, un métier ou une profession (que ce soit mécanicien-automobile, chirurgien, coiffeur, expert-comptable, agriculteur, réparateur en téléphonie mobile, inspecteur des impôts, vendeur de chaussures, kinésithérapeute ou encore pilote d'avion…). 1. Au départ du cycle et en amont de la réalisation de la formation : L'ingénierie de la demande et de l'offre (le marché de l'emploi), dont l'essentiel réside en l'analyse des besoins et la conception d'une offre. (Décrite en haut du schéma à travers les activités notées [1])

Il s'agira d'entreprendre les études suivantes :

• Estimation/Evaluation (partielle ou exhaustive) du contexte socio-économique, du contexte politique et des évolutions probables ;

• Evaluation des besoins (qualitatifs et quantitatifs3) en compétences4 / Analyse des stratégies de développement économique / Appréciation des perspectives ;

• Evaluation du marché de l'emploi : identification des offres d'emplois (y compris l’auto-emploi) et des différents métiers (fiches métiers) et identification des demandes et des demandeurs d'emploi;

• Cette évaluation peut (et doit) être accompagnée d’une analyse des dispositifs d’aide à l’insertion (régulation du marché de l’emploi, modalités de crédit et aides diverses à la création d’entreprises, etc)

1 C'est-à-dire que toutes les fonctions constitutives de l'organisation sont en interaction les unes par rapport aux autres. 2 Le terme "insertion" inclut "insertion professionnelle", "adaptation" à une nouvelle fonction, à un nouveau poste ou à un aménagement du poste, "changement" de situation, "création" de sa micro-entreprise, "auto-emploi", etc 3 Le travail sur l'aspect quantitatif de ce type d'investigation est un exercice à la fois difficile et trop aléatoire lorsqu'on se situe sur du moyen et long terme et dans un cadre macro-économique pour accorder une confiance absolue aux résultats que l'on peut obtenir. Il conviendra donc de les considérer comme un des indicateurs à prendre en considération et à intégrer dans l'étude avec d'autres indicateurs. 4 Voir les différentes définitions du terme "compétence(s)" Aujourd’hui, nombreux sont les professionnels qui ont intégré le terme de compétence et il est devenu fréquent dans le vocabulaire courant du monde du travail. Il est ainsi assez largement utilisé dès lors que l'on parle de formation (professionnelle). Un premier point retient cependant l’attention : la multiplicité et l’hétérogénéité des définitions du concept de compétences, qu’elles soient théoriques ou pratiques (issues du terrain). On proposera de se référer aux auteurs suivants : Guy Le Boterf, Philippe Zarifian, voir également la définition qu'en donne le MEDEF en France

Evaluation ABS Manform II / juillet 2011 5

• Identification des ressources de formation dans le(s) centre(s) et organismes de formation (RH, ressources pédagogiques, équipements, ressources financières,…) et identification des ressources externes ;

• Identification des attentes et des potentialités des postulants à la formation (intégration des sortants du dispositif éducatif – intégration des demandeurs d'emplois - problème spécifique des groupes vulnérables - formation continue des personnes en activité) ;

• Elaboration et proposition de projets de formation5 (métiers et compétences visés, modalités de formation, méthodes, ressources utiles / humaines, matérielles et financières, programmation, estimation des coûts, modalités de suivi et évaluation,…).

2. Prise de décision de « faire » [choix, hiérarchi sation, limites,]

Selon la nature et l'importance du projet envisagé, il s'agira

- de gouvernance (prise de décision au plus haut niveau de responsabilité du système de FP pour arrêter la stratégie des projets de structuration du système ou de développement ou d'amélioration des performances globales),

- de management (prise de décision au niveau des opérateurs de formation pour la mise en œuvre des projets de formation, limités ou conséquents, en formation initiale ou continue, qui ne remettent pas en cause la "politique" de l'état ou de la région en matière de formation professionnelle.

Dans tous les cas, cette prise de décision ne peut se faire en dehors du contexte partenarial. Les bénéficiaires finaux concernés par une opération de formation sont en effet les opérateurs économiques (artisans, commerçants, chefs d'entreprises, exploitants agricoles, pêcheurs,…), ils fournissent l'emploi et sont tout à la fois acteurs de la formation et bénéficiaires de la formation [ils récupèrent de la compétence ]. Ils sont assez souvent eux-mêmes les personnes formées6.

Il convient alors de rendre effective l'image souvent proposée de " l'apprenant au centre du dispositif de formation " mais aussi et surtout d'inclure également cet acteur et bénéficiaire dans le cadre partenarial.

3. Recherche de financement

C'est évidemment un acte déterminant qui conditionne fortement la prise de décision. La mise en place de mécanismes de financement est, pour un gouvernement et pour un système de formation national ou pour tout système décentralisé, la première clé d'entrée dans l'opérationnalité. Pour le développement à moyen terme du système de formation au Mali, on retiendra par exemple les modalités de financements suivants :

- Sur budget national (avec les dispositions fiscales particulières pour financer la FP et les structures de gestion partenariales des financements de type Fonds d'Appui pour la FP et l'Apprentissage

- Sur budget des collectivités territoriales et des ONG locales

- Sur fonds propres des bénéficiaires de la FP (UTICA, fédérations professionnelles / CCI, Chambre des Métiers,…, entreprises ou groupements d'entreprises,…, dans le cadre de leurs investissements formation) et/ou éventuellement sur ressources personnelles des personnes formées bénéficiaires directes

- Dans le cadre des projets financés par les organisations internationales et les coopérations bilatérales (UE, BM, AFD, etc…)

- Selon un montage intégrant une contribution de chacune de ces ressources financières

5 Projets de formation : voir synoptique de l'ingénierie de formation 6 Formation continue – Formation tout au long de la vie.

Evaluation ABS Manform II / juillet 2011 6

4. Elaboration Préparation

Cette phase se situe juste après les prises de décision.

• Consolidation du ou des projets (de formation, …) : Préparation des programmes, identification et sélection des ressources (humaines, matérielles, méthodologiques, financières).

• Programmation (délais) et Budgétisation.

5. Réalisation. En aval, (regroupées en bas du schéma) : les activités d'ingénierie pédagogique, la partie la plus reconnue et la plus traditionnelle des organismes de formation et des formateurs ;

• Elaboration/Adaptation des référentiels ou des plans de formation ; • Choix des méthodes pédagogiques ; • Organisation des ressources humaines [dont recrutement et formation des formateurs] et

élaboration ou sélection des ressources pédagogiques. • Choix et gestion des équipements ; • Aménagement des espaces de formation (locaux et temps) ; • La préparation (élaboration des documents et supports pédagogiques) ; • L'animation face aux stagiaires/élèves et la gestion des activités de formation, y compris

l'évaluation des stagiaires (évaluation des acquis).

6. Enfin la fonction de gestion et de management (incluant les opérations d'évaluation des formations, conçues comme outils de pilotage ).

Cette fonction est permanente et se retrouve à toutes les étapes du processus d'ingénierie de formation. On voit par ailleurs qu'elle prend tout son sens dès lors qu'elle assure le lien entre les acteurs internes au système et les partenaires externes au dispositif de formation.

Un des problèmes fondamentaux à résoudre pour la viabilité d'un système national est l'ancrage institutionnel de la structure centrale de gouvernance/pilotage/coordination/management.

7. L'évaluation des résultats et des effets

C'est la mesure de l'efficacité [l'atteinte des objectifs].

La question est :

Les formations dont ont bénéficié les stagiaires ont-elles permis d'atteindre l'objectif visé ?

A savoir :

A l'issue de leur formation,

- les formés ont-ils trouvé du travail ?

- les formés ont-ils intégré (réintégré) leur fonction ?

- sont-ils compétents dans leur travail ?

- leur travail sur le terrain, dans le service, au sein de l'organisation, a-t-il contribué à améliorer la qualité et les performances du service attendu ?

- les compétences acquises à l'aide de la formation correspondent-elles aux compétences nécessaires pour exercer la fonction, réaliser les tâches du métier, du poste ?

- etc…

Dans la continuité des projets, cette évaluation rejoint alors la phase d'analyses-diagnostics qui précèdera (et justifiera) le projet suivant.

Evaluation ABS Manform II / juillet 2011 7

Dans la démarche Qualité, ce travail est fondamenta l, il est à faire en tout premier lieu avant d'entreprendre une quelconque action d'amélioration.

L'examen des autres critères qui conditionnent le fonctionnement du système n'est pertinent qu'après avoir obtenu les informations sur la question de l'insertion-adaptation (constats et causes d'insatisfaction, ou de satisfaction, en matière d'intégration dans l'emploi).

De même la question de l'efficience - "Peut-on faire aussi "bien" à moindre coût ? " – sera posée. Elle suivra la mesure de l'efficacité.

On retiendra les 7 principaux critères QUALITE d'un système de formation :

- Le partenariat (entre acteurs économiques et opérateurs de formation)

- Le management (partenarial, par objectifs, GRH, gestion des ressources,…) et la gouvernance

- L'évaluation (des prestations, des coûts, des performances du dispositif de formation)

- Les modes de financement et les coûts

- Les formateurs et le personnel d'encadrement (compétences, méthodes et outils pédagogiques,…)

- Le mode et le contenu de formation (alternance, stage, scolaire, …programmes, référentiels)

- L'environnement matériel (locaux, équipements,)

Classement par ordre d’importance par rapport à l’efficacité recherchée Pour faciliter la lecture ou l’évaluation du dispositif, à chacun des critères qualité seront alors associés des indicateurs objectivement observables (IOV) qui sont à définir selon le contexte. Remarque : Cette démarche "qualité" sur une technicité d'ingénierie de formation s'applique pour la conception et la mise en œuvre de tous types de projets de formation, de la simple opération de formation pour un groupe de personnes et pour un secteur donnés au projet complexe de mise en place d’un système de formation d’envergure. A retenir : Un des critères qualité vient à manquer et le système est "bancal" (au mieux) ou se bloque (au pire). Un des critères vient à disparaître et le système perd progressivement et inexorablement son efficacité.

_________

1

Annexe 11 : Rapport d’activité 2010 de l’ATFP

Résumé du Rapport d’Activités

de l’Agence Tunisienne de la Formation

Professionnelle

au titre de l’année 2010

Juillet 2011

2

Sommaire

I) Les réalisations quantitatives et qualitatives enregistrées au titre de l’année 2010.

Sur le plan quantitatif :

Nombre d’apprenants

Nombre de nouveaux inscrits

Nombre de diplômés

Sur le plan qualitatif :

Implantation de la démarche Qualité

Certification des centres ISO 9001 version 2000.

Le degré d’application du Référentiel National de Qualité.

L’Effectivité des Conseils

Les conseils d’établissement

Les conseils pédagogiques

Formation du personnel pédagogique

II) Les Activités relatives à la promotion de la Formation Professionnelle auprès des jeunes

Relation avec les medias

Information et communication externe

Information et communication interne

Bourse de formation professionnelle

3

I) Les réalisations quantitatives et qualitatives enregistrées au titre de l’année 2007

Sur le plan quantitatif

Nombre d’apprenants

L'évaluation des réalisations de l’année 2010 est considéré un moyen très important pour revoir les méthodes et les procédures nécessaire pour atteindre les objectifs du 11ème Plan de Développement, puisque c'est l'avant-dernière année de ce plan.

Pour cela l'ATFP a pris comme objectif quantitatif pour l'année 2010 d'atteindre 117500 formés, dont 89000 en formation normalisée et 28500 en apprentissage totalement effectué dans l'entreprise, avec une augmentation globale de 18500 formés par rapport à l'année 2009.

A ce Titre, l’effectif des formés enregistré fin Décembre 2010 a atteint les 110557 formés, répartis comme suit :

- 86065, total des formés en formation normalisée (78% du total des formés)

- 24492, total des formés en formation non normalisée (22% du total des formés)

Le tableau suivant compile les objectifs fixés pour l’année 2010 et les résultats atteints au titre de la même année :

Nature de la formation

Niveau objectifs

fixés résultats

Taux de réalisation

formation normalisée

CAP 03333 75892 99%

BTP + BTS 00533 03704 96%

CFA + CC 02033 09557 94%

Total formation normalisée 00888 06868 97%

apprentissage en entreprise 00888 04400 86%

Total formation non normalisée

Total global 005888 008885 94%

La répartition par niveaux et mode de formation est comme suit :

4

Niveau

Mode de formation

Total Résidentiel alternance apprentissage

Formation normalisée

CAP 1414 22182 6261 29857

BTP 1291 26620 175 28086

BTS 2107 10023 12130

CFP 307 160 467

CFA (F4) & CC 1629 2009 11887 15525

Total des formés en formation normalisée 6748 60994 18323 86065

Total : Apprentissage en entreprise 24492 24492

Total général 6748 60994 42815 110557

Analyse des résultats

En analysant ces données, on peut tirer les principales conclusions suivantes :

- atteinte des objectifs de l’année 2010 à concurrence de 94% à l’échelle globale.

- enregistrement d’une hausse de 20% par rapport à l’objectif fixé (70%), (90%, taux atteint fin décembre 2010, pour la formation en alternance, sans compter l’apprentissage en entreprises).

Les nouveaux inscrits

Dans le cadre des préparatifs des deux sessions de Février et de Septembre 2010, et dans le but d’atteindre les objectifs relatifs aux besoins pressants des entreprises économiques, une série de mesures ont été mises en place afin d’amener les centres à :

- développer davantage les actions de communication au profit des jeunes et promouvoir les formations dispensées dans le dispositif et notamment celles qui relèvent des secteurs prioritaires ;

- organiser l’accueil et l’orientation des demandeurs de formation ;

- ajuster la programmation des centres concernés par le programme spécifique de formation dans les secteurs prioritaires afin de répondre aux besoins des entreprises et stimuler les jeunes à s’orienter dans ce domaine.

- un espace d‘accueil, d’information et d’orientation au profit des demandeurs de formation a été mis en place au siège de l’Agence.

- Un service téléphonique d’orientation à distance, assuré par des conseillers d’apprentissage, est mis en place.

Malgré les efforts consentis, seuls 53756 jeunes ont été inscrits au titre l’année 2010 alors que l’offre de formation était de 64345 postes de formation, donc un taux de réalisation de 84%, donc une surcapacité manifeste.

5 La répartition de ces effectifs par session est comme suit :

Niveau

Rentrée Février 2010

Rentrée Septembre 2010

Total

offre réalisation offre réalisation offre réalisation Ecart

BTS 2108 2119 3686 4064 5794 6183 389

BTP 4926 4557 11562 11371 16488 15928 -560

CAP 6043 3928 16919 16088 22962 20016 -2946

CFP 168 159 525 313 693 472 -221

CFA 1424 789 1955 1289 3379 2078 -1301

CC 4116 2518 10913 6562 15029 9080 -5949

Total 18785 14070 45560 39686 64345 53756 -10589

L’offre de formation se répartit par secteurs pour les deux sessions, Février et Septembre 2010 comme suit :

Secteurs

Offre de formation Total des inscrits

Taux de réalisation Session

février Session

septembre Total

Bâtiment, Travaux Publics et Annexes

2805 7184 9989 7389 73,97%

Textile et Habillement 2920 7970 10890 9038 82,99%

Cuir et Chaussures 475 1746 2221 977 43,99%

Mécanique Générale Construction Métallique

2527 5252 7779 6833 87,84%

Électricité / Électronique 6134 11410 17544 15054 85,81%

Industries Agroalimentaires 86 166 252 275 109,13%

Transport, Conduite et Maintenance des Véhicules et des Engins de Travaux Publics et Agricoles

1819 4330 6149 5755 93,59%

Tourisme / Hôtellerie 815 2060 2875 2645 92,00%

Métiers d'art et de l'Artisanat 323 1880 2203 937 42,53%

Emplois de Bureau 426 1502 1928 2575 133,56%

Services et Industries Divers 455 1698 2153 2071 96,19%

Total général 18785 45560 64345 53756 83,54%

6

L’écart enregistré entre l’offre de formation et le nombre des inscrits, qui est de l’ordre de 10589 postes de formation, réside essentiellement aux niveaux CC et CAP, vu le faible taux des inscrits dans ces deux niveaux.

En outre, on a enregistré à la rentrée de Septembre 2010, 887 inscrits, ayant le baccalauréat 2010, ce qui constitue un taux de 22% du total des inscrits en BTS

Les diplômés

Les réalisations en 2010 au niveau de l'effectif des diplômés étaient de l’ordre de 37527 diplômés répartis comme suit :

- 28964, selon la formation normalisée (BTS, BTP, CAP, CFP, F4 et CC)

- 8563, selon l’apprentissage (F0).

La répartition des diplômés au titre de l’année 2010 par niveau est la suivante :

Sur le plan qualitatif

Implantation de la démarche qualité

La mise en place d’une Démarche Qualité au sein du Ministère de l’Éducation et de la Formation et des structures sous tutelle s’intègre dans le programme de mise à niveau de la formation professionnelle (MANFORME). Celui-ci vise à améliorer la qualité et l’efficacité du système de formation professionnelle public et privé pour mieux répondre aux défis du nouveau millénaire, en se basant sur une approche client et sur les besoins du marché. Par conséquent, il doit intégrer toutes les composantes d’un système moderne de formation et notamment celle relative à l’Approche Qualité totale applicable à l’ensemble des acteurs de la formation.

A ce titre, il y a lieu de signaler que les objectifs, au titre de l’année 2010, se résument dans :

- la certification de cinq (05) centre de formation, selon la norme ISO 9001 pour avoir un total de 20 centres certifiés ISO 9001,

- (60) centres de formation professionnelle auront un taux de conformité par rapport au Référentiel National de la Qualité de la Formation Professionnelle, supérieur ou égal à 70%

Les réalisations se résument comme suit :

- la certification de quatre (04) centre de formation, selon la norme ISO 9001

Niveau Effectif des diplômés

BTS 3369

BTP 9416

CAP 9697

CFP 764

CC 4001

CFA 1717

Total 28964

7

- le renouvellement de la certification de trois (03) centres sectoriels

- des audits de surveillance pour neuf (09) centres

En outre les centres appelés à être certifiés par rapport au RNQFP, ont bénéficiés eux aussi d’un accompagnement dans le but d’améliorer leurs taux de conformité. (80) centres ont subi un positionnement par rapport au RNQFP, dont (23) centres ont un taux de conformité dépassant 70%.

L’Effectivité des Conseils

Les conseils d’établissement

Afin de répondre aux besoins de l’entreprise et de s’adapter aux changements technologiques dans une volonté continue de réactivité, la confirmation d’un partenariat effectif avec les entreprises se matérialise par l’évolution du nombre des conseils d’établissements installés et effectifs.

En effet, 7 nouveaux conseils d’établissement ont été constitués pour atteindre 113 conseils en 2010 au lieu de 106 en 2009, dont 53 conseils ont organisé 69 réunions au cours de l'année 2010.

Les conseils pédagogiques

Les réunions des conseils pédagogiques ont traité principalement de :

- l'organisation de la formation initiale

- la validation des emplois du temps

- la validation de plannings de stage en entreprises

- les activités relatives aux préparatifs des sessions de formation

- l’organisation pédagogique des centres

- le suivi des apprenants en entreprises

- etc.

1

Annexe 12 : Évaluation d’impact de la formation continue / Quelques indicateurs

A. Définitions

Le champ de la Formation continue est strict : il concerne l’emploi, le recyclage (réinsertion, resocialisation, réadaptation) , la reconversion professionnelle et les chômeurs, demandeurs d’emploi. La formation initiale se situe avant le premier emploi.

La ligne de démarcation est donc claire entre les deux types de formation.

On distingue la FC générale (par exemple : l’informatique de base, langues, communication, etc.) de la formation spécifique (à un métier, à une technique, etc.)

On distingue aussi la FPC délivrée aux Grandes ou petites entreprises, aux Entreprises formelles, informelles/artisanales.

1. L’évaluation au niveau macro est d'apprécier, à l'aide de critères définis préalablement, l'atteinte des objectifs de programmes de FPC dérivant d’une politique/stratégie de formation sectorielle ou macro. Cette évaluation peut être commandée par des acteurs différents (gouvernement, organisations internationales/ financières, associations professionnelles, syndicats, etc.).

On distingue

l'évaluation d’impact: les effets de la formation sur la performance,

l’évaluation de coûts-avantages: retour sur investissement.

2. L’évaluation au niveau micro de satisfaction, est d’apprécier le contenu de l'action de formation continue, des acquis, et des transferts éventuels en situation de travail.

B. Pourquoi l’évaluation d’impact est-elle nécessaire?

Sous l’angle politique, le Gouvernement se doit de :

Évaluer les effets des politiques de formation et de leur financement sur la performance du pays, par secteur et par région.

Identifier si les ressources publiques sont les plus productives à cet usage et

reconsidérer le dispositif de FC si nécessaire.

Sous l’angle économique, les (associations d’) entreprises veulent :

Estimer le rendement des dépenses de formation et leur impact sur leur performance

Mesurer les effets de la FPC sur les postes de travail par catégories socioprofessionnelles

Sous l’angle social, les personnes veulent savoir quels seront les débouchés en interne (salaires, promotion, mobilité), ou en retour à l’emploi.

C. Les 4 critères d’évaluation rapportés à la formation continue

Pertinence

Efficacité

Efficience

Équité

1. Quelle est la pertinence du système ?

Le système fournit-il les qualifications aptes à contribuer à la réalisation des objectifs économiques et sociaux du pays et de ses entreprises?

2

Le système est-il suffisamment centré sur la demande et capable d’y répondre?

et sinon, pourquoi?

2. Révélateurs des problèmes de pertinence

Connaissance limitée des réalités du marché du travail

Couverture limitée du système de formation

Pénurie significative de main-d’œuvre qualifiée

Problèmes de compétences évidents dans l'économie

3. Les problèmes de performance

Bien que la formation soit assurée et que certaines qualifications soient acquises, des problèmes significatifs de performance liés aux qualifications persistent dans l'économie nationale :

La quantité disponible d'individus disposant de qualifications spécifiques est loin de répondre aux besoins/possibilités d'utiliser de telles qualifications.

Programmes inappropriés (incomplets, ne reflétant pas la technologie actuelle, ou l'organisation du travail)

Formateurs à la formation insuffisante ou disposant d’équipements et/ou de matériels pédagogiques non en ligne avec les demandes des entreprises

Formation des formateurs insuffisante ou inappropriée ou peu réactive

Les employeurs ne souhaitent pas payer pour une formation telle que celle fournie.

Le système de formation penche en faveur de la formation de pré-emploi et à l'encontre de formation complémentaire (dispensée en entreprise).

4. Quelle est l’efficacité du système ?

Le système actuel est-il vraiment capable de réaliser ses programmes de formation, que ce soit en termes de qualité ou de quantité?

Est-il capable de s'adapter à des changements de besoins, d'objectifs et de circonstances? D’être réactif et flexible?

5. Révélateurs des problèmes d'efficacité?

Rigidité apparente du système de formation

Problèmes avec les stagiaires

Problèmes de personnel

Intrants (hors personnel) insuffisants

Faibles taux de réussite et indicateurs apparentés décevants

Insatisfaction fréquente des employeurs concernant les primo-demandeurs diplômés

6. Quelle est l'efficience du système ?

Le système utilise-t-il au mieux les ressources à sa disposition en faisant ce qu'il fait ?

Prend-t-il suffisamment les coûts en considération?

Sont-ils connus de tous les acteurs?

Est-il viable financièrement ?

Les avantages justifient-ils les coûts?

et sinon, pourquoi?

7. Révélateurs des problèmes d'efficience :

Sous-utilisation du personnel ou des équipements et matériel de formation

3

Fragmentation ou répétition des efforts

Manque d'incitation à réduire les coûts ou augmenter les revenus

Les gestionnaires de la formation ne connaissent pas les coûts de formation

Variation importante des coûts entre les types de formation et les centres de formation

Variation quant à la durée de la formation

Réponse à la demande pas assez ciblée

8. Quelle est l‘équité du système ?

Le système utilise-t-il équitablement les ressources à sa disposition en faisant ce qu'il fait ?

Favorise-t-il telle catégorie de salariés plutôt que telle autre? Par exemple:

Plutôt les adultes que les jeunes?

Plutôt les hommes que les femmes?

Plutôt les qualifiés que les non qualifiés

et si oui, pourquoi?

9. Révélateurs des problèmes d‘équité:

Les caractéristiques personnelles peuvent avoir une incidence plus ou moins forte sur l'accès et les formes de participation :

Catégories d’âge Sexe Niveau d’études Statut sur le marché de l’emploi

Certains sous-groupes sociaux (en fonction de la nature des contrats) peuvent être avantagés (ou du moins plus représentés) dans les dispositifs de formation continue

Les catégories socioprofessionnelles les plus qualifiées bénéficient d’un effort de formation plus important au détriment des catégories les moins qualifiées

D. Les expériences internationales

Que montrent les expériences internationales en matière d’évaluation de l’impact de la FPC?

La FC tend à influer sur les gains de productivité et la croissance des salaires (ce que la plupart des études internationales montrent)

Le rendement de la FC décline avec l’expérience acquise dans le travail (USA, enquête 155 entreprises industrielles)

La formation générale délivrée en 1993 tend à augmenter la productivité différentielle entre 1993 et 1995 (Irlande, enquête 650 entreprises > 10 employés).

Effets retard, cumulatif, d’obsolescence confirmés par étude annuelle française (10.000 entreprises)

Associée à la formation, la productivité croît plus vite que les salaires (théorie du capital humain: même croissance)

Diffusion des connaissances entre travailleurs dépendante du décloisonnement des tâches et des compétences dans l’entreprise

Flexibilité de l’organisation du travail (échelons d’encadrement, polyvalence des tâches, équipes de travail) déterminante pour stimuler la diffusion du capital humain sur le lieu de travail)

Investissements directs étrangers en partie liés au niveau et qualité de formation des entreprises des pays hôtes.

*****

Annexe 13 : Compte-rendu de visite au Centre sectoriel des Arts du feu à Nabeul

et au Centre de formation d’apprentissage de Kélibia - 22 juillet 2011

La visite fut organisée par l’ATFP ; les participants1 ont visité dans l’ordre :

1. Le Centre sectoriel de formation en arts du feu de Nabeul

2. Le Centre de Formation et d’Apprentissage de Kélibia

S’est joint à eux à Nabeul le Directeur2 a. i. de la DRFPE..

1. Les participants ont visité le centre des Arts du feu en compagnie de son directeur. Le centre assure l'enseignement et l'encadrement de quelque 300, tout en mettant à la disposition de ses postulants un programme pédagogique modulaire en ferronnerie, céramique, verre soufflé (décoration et gravure sur verre) dans de vastes ateliers de moules pour fonderie et céramique. Environ 70% de promotion 2010 a trouvé un emploi surtout dans les entreprises de céramique, spécialité de la région.

De plus, le centre dispose d’une pépinière d’entreprises renfermant des espaces informatique et internet, de documentation et d’animation. Elle offre ainsi à des promoteurs sélectionnés et à des porteurs d’idées-projets des prestations liées aux types de formation du centre. (Ci-après la charte morale de la pépinière)

2. Le centre d’apprentissage de Kélibia, certifé ISO depuis le 10 avril 2009, occupe 30.000 m2 de terrain, dont environ un tiers de bâtiments ; il a été présenté par son directeur

3. Il offre 3 modes de

formation4 et 3 niveaux ; CC. CAP, BTP

a. Apprentissage pour 1000 apprentis et 32 spécialités b. En alternance c. Formation continue

Une des questions récurrentes a concerné l’insertion des diplômés. Le centre offre un suivi des sortants. Par exemple, Sur les 220 diplômés 2010, 120 poursuivent leurs études tandis que 45% des restants s’insèrent après 6 mois, avec des informations sur leur statut. Le directeur vise à améliorer systématiquement le suivi des sortants en remontant aux causes d’échec. Notamment celle pouvant provenir d’un déficit technique des formateurs auquel il est remédié par une mise à jour annuelle de leur formation.

Le centre est autonome à la marge, n’ayant pas de ressources propres sauf par la vente des produits de la formation et la formation continue. Réduire le nombre d’apprentis à 600 au profit de la qualité, et aussi mieux les sélectionner en fonction des spécialités et des niveaux de qualification demandés par le marché pour augmenter la qualité de la formation et le taux d’insertion.

Enfin la direction régionale et le centre communiquent régulièrement et l’esprit de concertation entre le centre et les entreprises est élevé en lien avec des entreprises d’habillement par contrat ou par invitation de chefs d’entreprises, également étrangers, à exposer leurs domaines d’activité correspondant aux spécialités enseignées au centre.

Il n’existe pas à proprement parler de système d’information entre les centres de la région et la direction régionale quoique le même logiciel Access soit utilisé. Le directeur régional a.i. apparut intéressé par un applicatif dédié connectant le système de formation par spécialités et les demandes d’emploi par professions/métiers via des tables de correspondances appropriées.

1 DCE : Millikan Françoise : chef de Coopération ; Lyamouri Abdelaziz : Développement Secteurs Sociaux –

Éducation ; le groupe d’Évaluation finale des programmes d'ABS EDUCATION SECONDAIRE ET MANFORM II ; Jean-Paul Nicolau, chef d’équipe ; Jean-François Bernede ; Jacques Gaude

2 RBII Kamel Directeur a.i kamelrbii@hotmail.fr; portable : 98512705 ; Bureau : 72281913 3 KHELIFI Nassredine nacerbenothmen@yahoo.fr ; Portable : 98551989; Bureau: 72384907

4 Deux pages d’information ont été fournies par la direction régionale aux participants décrivant l’une chacun des 9

centres de la région, l’autre, la présentation du centre de Kélibia.

Mission d'évaluation /Tunisie / Programmes ABS Education secondaire - Manform II

Calendrier des ACTIVITES 3ème partie

novembre décembre

12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 5 6 7 8 9 10

J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 J11 J12 J13 J14 J15 J16 J17 J18

Phase 3

Préparation des ateliers

Briefing DUE & Briefing MPCI

Entretiens MEFP et ME / Organisation des ateliers (contenus)

Préparation des ateliers (contenu et logistique)

Ateliers de Restitution et Perspectives

Présentation résultats préliminaires à DUE

Ateliers de Restitution et Perspectives

Debriefings

Elaboration du rapport final

dim

anche

dim

anche

dim

anche

dim

anche

Annexe 14 : Organisation de la phase III de la mission

Objet

L’objet essentiel de cette 3ème phase est de présenter les résultats de l’évaluation aux partenaires et surtout de mettre en place toutes les conditions pour faire adhérer ces acteurs à un futur programme. Un atelier sera organisé à cet effet avec plusieurs groupes ( nb à préciser en début de phase). Lieu : Tunis

La tenue des ateliers pendant une journée se fera dans un des établissements de la ville de

Tunis (privé ou public) à préciser dès les premiers jours de la mission après investigation sur les

possibilités offertes et analyses des coûts

Dates : Mission entre le 14 et le 30 novembre 2011 de 12 jours œuvrés.

Calendrier

Contenu des ateliers

La mission utilisera des méthodes et des outils d’animation ludiques et pertinents pour

récupérer en fin d’atelier un cadre consensuel fixant les grandes options stratégiques et les

résultats attendus pour un prochain programme. L’idée, comme dans une étude faisabilité, est

de lever un maximum de freins (certains ou probables) et de faire engager au maxi les

participants sur les perspectives proposées. Les questions à débattre seront préparées avec

soin et en concertation avec les correspondants du programme dans chaque ministère.

Les participants représenteront l’ensemble des partenaires (publics et privés) des 2 systèmes

Le 5 septembre 2011