LES ÉTUDES D’ÉVALUATION D’IMPACT ET LEURS …€¦ · En ce qui concerne la finalité de prise de décision, il n’est jamais aisé de déterminer si l’évaluation contribue

Co

pyr

igh

t p

ho

to: E

TF

/F. D

eco

rato

LES ÉTUDES D’ÉVALUATIOND’IMPACT ET LEURS IMPLICATIONSSUR LA PRISE DE DÉCISIONPOLITIQUE

TA

-30

-08

-51

4-F

R-C

Office des Publications

Publications.europa.eu

LA FONDATION EUROPÉENNE POUR LA FORMATION (ETF)AIDE LES PAYS VOISINS DE L’UE (LES PAYSPARTENAIRES) À RÉFORMER LEURS SYSTÈMESD’ENSEIGNEMENT ET DE FORMATION PROFESSIONNELSDANS UNE PERSPECTIVE D’APPRENTISSAGE TOUT AULONG DE LA VIE AFIN D’EXPLOITER AU MIEUX LEPOTENTIEL DE LEURS RESSOURCES HUMAINES

NOUS CONTACTER

Des informations supplémentaires sur nosactivités, appels d’offres et offres d’emploipeuvent être obtenues sur notre site web :www.etf.europa.eu

Pour toute autre information, veuillez contacter :

Unité Communication de l’ETFFondation européenne pour la formationVilla GualinoViale Settimio Severo 65I – 10133 TurinE [email protected] +39 0116302222F +39 0116302200

COMMENT VOUS PROCURER LES PUBLICATIONSDE L’UNION EUROPÉENNE?

Vous trouverez les publications de l’Office des publications disponibles à la vente sur le site del’EU Bookshop (http://bookshop.europa.eu), où vous pourrez passer commande auprès dubureau de vente de votre choix.

Vous pouvez également demander la liste des points de vente de notre réseau mondial partélécopie au (352) 29 29-42758.


Sous la direction de Jean-Marc Castejon et Borhène ChakrounAvec la participation de Siria Taurelli, Ali Bellouti, Robert Teunissen, Jean-Jacques Paul,Christophe Nordman, Said Hanchane, Luca Quaratino et Luigi SerioFondation européenne pour la formation2008

De nombreuses autres informations sur l’Unioneuropéenne sont disponibles sur l’internet via leserveur Europa (http://europa.eu).

Une fiche bibliographique figure à la fin de l’ouvrage.

Luxembourg : Office des publications officielles desCommunautés européennes, 2009

ISBN : 978-92-9157-584-8

doi : 10.2816/12771

© Fondation européenne pour la formation, 2009

Reproduction autorisée, moyennant mention de lasource

Printed in Italy

Europe Direct est un service destiné àvous aider à trouver des réponses aux

questions que vous vous posez surl’Union européenne

Un numéro unique gratuit (*) :

00 800 6 7 8 9 10 11(*) Certains opérateurs de téléphonie mobile ne permettentpas l’accès aux numéros 00 800 ou peuvent facturer cesappels.

TABLE DES MATIÈRES

1. ÉVALUATION DES POLITIQUES PUBLIQUES 5

1.1 Institution et évaluation 6

1.2 Cadre méthodologique des études 8

1.3 Études de cas 13

2. LA PERSPECTIVE RUSSE : ÉTUDE DE CAS D’UNE APPROCHE QUALITATIVE 15

Avant-propos des autorités russes 15

2.1 Introduction 18

2.2 Contexte du projet 19

2.3 Approche épistémologique 19

2.4 Conception de la recherche et implications méthodologiquesde l’utilisation du modèle théorique 22

2.5 Résultats et conclusions 26

2.6 Enseignements tirés et recommandations pour lespolitiques à venir 31

3. LA PERSPECTIVE MAROCAINE : ÉTUDE DE CAS D’UNE APPROCHE QUANTITATIVE 35

Avant-propos des autorités marocaines 35

3.1 Contexte de l’étude 37

3.2 Travaux précédents dans les pays du Maghreb 38

3.3 Déroulement du projet 39

3.4 Effets des contrats spéciaux de formation sur lacompétitivité des entreprises 41

3.5 Enquête auprès des salariés 48

3.6 Recommandations et perspectives de transfert 49

4. COMPLÉMENTARITÉ DES APPROCHES QUALITATIVE ET QUANTITATIVE 51

4.1 Avantages comparatifs 52

4.2 Contraintes comparatives 53

4.3 Pour un équilibre des approches qualitative et quantitative 56

5. CONCLUSIONS 57

5.1 Le dilemme quantitatif/qualitatif 57

5.2 Le talon d’Achille des études d’impact 58

5.3 Évaluation centrée sur l’apprentissage des politiques 58

ACRONYMES 61

BIBLIOGRAPHIE 63

3

1. ÉVALUATION DESPOLITIQUES PUBLIQUES

De par sa mission, la Fondationeuropéenne pour la formation (ETF) a unrôle à jouer dans l’évaluation des politiquesd’éducation et de formation des payspartenaires et de leur impact sur ledéveloppement des ressources humaines.Ce rôle ne se limite pas seulement à établirun constat au profit de tous les acteursconcernés, ou à rassembler des faitséclairants pour les décideurs politiques,mais il se présente comme un rôle defacilitation d’un processus qui s’avère,comme nous espérons le montrer dans lespages qui suivent, un exerciced’apprentissage collectif. L’ETF ne se posedonc pas comme un juge des politiquespubliques mais comme le facilitateur d’unexercice complexe visant à influencer lesmodalités de l’action publique etapprofondir la connaissance qu’ont lesinstitutions et leurs agents de leurs proprespratiques.

De plus en plus d’institutions publiquescherchent à améliorer leur performance, cequi implique généralement de jeter unregard critique sur ce qui fonctionne et surce qui peut être amélioré. Mesurer l’impact

de son action est un moyen d’y parvenir.Ceci est lié à la fixation d’objectifs, au suivides performances, aux besoins deprogrammation ou à la fournitured’informations à des organes de contrôle.Cette préoccupation est commune à denombreux pays et en particulier à des paysqui sont les partenaires naturels de l’ETF :les pays des régions méditerranéennes, duCaucase et de l’Asie centrale. Elle estaussi celle des bailleurs de fonds, aupremier rang desquels la Commissioneuropéenne. Elle est enfin celle des Étatsmembres de l’Union européenne dans lecadre de leurs politiques de coopération.Tous ont leur agenda, leurs cycles et leurstratégie.

Cette étude présente deux projetsd’évaluation conduits en Russie et auMaroc dans une perspective commune :mieux piloter l’action publique dans lespays concernés. Malgré la différence decontexte, ces projets présentent denombreuses similitudes : de nombreuxacteurs, une durée importante (trois ans),une approche (recherche action) et desenseignements communs. Cette étude est

5

1

la prolongation d’un atelier de synthèse quis’est tenu à Bruxelles le 31 mai 2006 enprésence de plusieurs États membres, dela Commission européenne et desprincipaux protagonistes des projets. Ellese fonde sur les différents rapports etdocuments qui ont été produits pendant laréalisation des projets ainsi que sur lalittérature théorique qui leur a servi debase.

1.1 INSTITUTION ETÉVALUATION

L’évaluation des programmes et politiquespublics s’est développée fortement dans denombreux pays au cours des 15 dernièresannées (voir par ex. Perret, 2001). Lesraisons de cet accroissement des pratiquesd’évaluation sont multiples.

� Les difficultés budgétaires rendentnécessaires une justification plussolidement argumentée desinterventions et des dépenses publiqueset un ciblage plus fin des bénéficiaires.Ce qu’on désigne parfois comme unecrise de la légitimité de l’action publiqueappelle un peu partout à une meilleuregouvernance ce qui implique uneréinterprétation de l’objet et desmodalités de cette action.

� Un besoin de rationalité et detransparence : il est normal pour unresponsable politique ou administratifou un financeur de chercher à connaîtreles conséquences de ses décisions.

� La décentralisation, la constructioneuropéenne et plus généralementl’intensification de la coopérationéconomique internationale ont entraînédes interférences accrues entre desniveaux de pouvoir juridiquementautonomes. La complexité qui enrésulte accroît les besoinsd’informations communes, decoordination et de régulation.

Pour que l’évaluation soit intégrée àl’action publique, il faut que lescommanditaires et autres destinataires del’évaluation puissent s’approprier lesrésultats et les connaissances produites et

les intégrer à leur propre vision deschoses. À cette fin, certaines conditionsdoivent être réunies.

� L’évaluation doit répondre auxquestions que se posent lecommanditaire, ce qui implique unprojet d’évaluation ciblé et un cahier descharges précis.

� Les informations et le raisonnementprésentés doivent être crédibles et danstoute la mesure du possible,compréhensibles par l’ensemble desdestinataires.

� Les jugements de valeur portés parl’évaluation doivent être perçus commeétant fondés sur des argumentslégitimes.

Une évaluation a donc pour objet deproduire des connaissances appropriablespar le commanditaire. Il ne s’agit donc passeulement de répondre à une question.Pour s’entendre sur des réponses, il fauts’entendre sur les questions et sur laméthode. Le processus rigoureux deconception et de mise en œuvre du projetd’évaluation dans ses différentes étapesqui a été suivi ici (les temps dequestionnement, de sélection desméthodes, de collecte et de traitement desdonnées, et enfin celui de la formulationdes réponses) a permis de construire pas àpas les éléments d’un monde commun, unensemble de connaissances et deréférences partagées par les évaluateurs,les commanditaires et les autres acteursconcernés. Sans qu’on puisse parler definalités, l’un des rôles manifestes del’évaluation est de favoriser lesconvergences de vue et la coopérationentre les acteurs engagés conjointementdans la conduite de l’action. Les projetsd’évaluation présentés ici ont suivi uncheminement logique qui est parti desproblèmes et des interrogations ayantmotivé l’évaluation, afin de formuler unensemble de questions et d’indiquer lesmoyens utilisés pour tenter d’y répondre.Mais l’évaluation n’est ni pureconnaissance ni mécanisme politique. Il yavait dans ces projets un équilibre àtrouver entre les contraintes de l’actionpublique et une démarche scientifiquerigoureuse.

6

LES ÉTUDES D’ÉVALUATION D’IMPACT ET LEURS IMPLICATIONS SUR LA PRISEDE DÉCISION POLITIQUE

Évaluation et prise de décision

L’évaluation entend améliorer la prise dedécision à tous les niveaux grâce à unjugement de valeur porté sur la politique enquestion. Parallèlement, elle vise à clarifier,auprès des différents acteurs, lasignification et la portée de leurs actions.Une évaluation comporte donc deuxfinalités. D’une part, la prise de décision :réaliser le travail préparatoire auxdécisionsliées à la politique concernée. D’autre part,l’apprentissage : contribuer à la formationdes acteurs en les aidant à comprendre leprocessus dans lequel ils sont impliqués.

En ce qui concerne la finalité de prise dedécision, il n’est jamais aisé de déterminersi l’évaluation contribue à la planification dela politique, ni dans quelle mesure elle ycontribue. Une chose est sûre : la durée dela période d’évaluation correspondrarement au cycle de vie de la politiquemenée. Dès lors, il est rare que la prise dedécision soit directement liée à l’évaluation.À vrai dire, les résultats d’une évaluationont souvent une incidence indirecte et nese traduisent de façon concrète qu’à longterme. Une évaluation n’est pas pourautant dénuée de valeur lorsqu’elle revêt laforme d’un outil d’efficacité publique.

Pour ce qui est de la finalitéd’apprentissage, un point de vueconstructiviste est préconisé. Si uneévaluation doit porter ses fruits elle doitêtre intégrée à la vision des individus etdes organisations. C’est toutel’organisation qui doit apprendre sil’évaluation doit être plus qu’une simpleméthode ou technologie appliquée. Elle estinsérée dans des contextes qui lui donnentsens et vie. C’est ce processusd’apprentissage qui est décrit dans lesdeux études de cas.

Méthodologie du projet

Le projet revêt la forme d’une «rechercheaction», c’est-à-dire qu’il mène unerecherche évaluative tout en proposant unrésultat pouvant être exploité par lesautorités compétentes. Cette méthodecomporte un système de relations entre les

divers acteurs et participants (les pouvoirspublics et les promoteurs de la politique àévaluer) qui a dû tout d’abord êtreclairement défini. Dans les deux casprésentés ci-après, un groupe de pilotage,un comité scientifique et une équipeopérationnelle ont été désignés.

Groupe de pilotage

Ses missions étaient de deux ordres :

� piloter les travaux d’évaluation,c’est-à-dire veiller à la conformité destravaux avec la commande et en suivrele déroulement ;

� intégrer les matériaux d’évaluation,c’est-à-dire réceptionner les étudesréalisées, valider leurs résultats etrépondre aux questions posées par leprojet d’évaluation.

Comité scientifique

Il constituait l’élément central du dispositifparce qu’il préservait la zone d’autonomienécessaire entre la science et la politique.Ses missions étaient de deux ordres :

� élaborer le projet d’évaluation ettraduire le questionnement en un cahierdes charges qui ait la forme d’uneméthodologie acceptée par tous ;

� veiller à la recevabilité scientifique desrésultats atteints, les valider et lesinterpréter.

Équipe opérationnelle

C’est l’équipe qui a réalisé les enquêtessur le terrain.

Les études de cas montrent que la relationentre les différents organes du dispositif neva pas de soi. L’avant propos des autoritésmarocaines le mentionne explicitement : lacoexistence des dimensions politique,technique et scientifique dans une activitéunique exige une discipline qu’il n’est pasfacile de garantir, en particulier dans uneperspective de recherche action qui pardéfinition n’est jamais assurée d’aboutir.Cette difficulté est analysée en détail dansla section suivante.

7

1. ÉVALUATION DES POLITIQUES PUBLIQUES

1.2 CADREMÉTHODOLOGIQUE DESÉTUDES

1.2.1 TYPES D’ÉVALUATION

L’évaluation d’impact a pour objectif demesurer l’effet que peut avoir une mesurepolitique sur le public visé, qu’il s’agissed’individus, de familles, d’entreprises oud’autres organisations. Cet effet peutcorrespondre à l’effet recherché, mais deseffets non recherchés, voire contraires auxobjectifs (ce que les sociologues qualifientd’effets pervers), peuvent également fairel’objet de l’évaluation.

Méthodes quantitatives

Les méthodes quantitatives d’évaluationd’impact ont sensiblement évolué au coursdes dernières années (Baker, 2000). Eneffet, si traditionnellement les chercheursidentifiaient l’impact d’une mesure depolitique économique ou sociale encomparant deux groupes – un groupebénéficiaire de la mesure et un groupe n’enbénéficiant pas – ils ont récemment mis aupoint des méthodologies tenant compte dufait que deux groupes sont rarementparfaitement semblables (ce qui limitait laportée de la comparaison en attribuant lesdifférences uniquement à la mesurepolitique évaluée). Pour assurer unecomparaison dans laquelle seuleinterviendrait la mesure évaluée, il faudraitprocéder à un tirage aléatoire dans lapopulation étudiée du groupe bénéficiantde la mesure (dit groupe traité en écho auxtravaux conduits initialement dans ledomaine médical et pharmaceutique) et dugroupe n’en bénéficiant pas (dit groupe decontrôle).

Les méthodes actuelles s’efforcent deconstruire un contrefactuel, c’est-à-dire unscénario dans lequel on pourrait observercomment serait la population ayantbénéficié de la mesure si elle n’en avaitpas bénéficié. Dans le cas de la sélectionaléatoire des deux échantillons, traité et decontrôle, l’échantillon de contrôle est unparfait contrefactuel, et l’impact de lamesure peut être simplement mesuré parles différences entre les moyennes des

deux échantillons de la variable senséeindiquer l’effet (durée de vie d’un patient,durée de recherche d’emploi d’unchômeur, profit d’une entreprise, etc.). Cesméthodes peuvent également être utiliséespour prédire, à partir de l’évaluation d’unprogramme pour une population donnée,son impact sur une autre population.

Dans la pratique, la mise en place del’affectation aléatoire d’une mesure àcertains individus et pas à d’autres seheurte à un certain nombre de difficultés.Ces difficultés peuvent être de naturepratique, liées aux procédures desélection. Un tirage au sort des individusbénéficiaires a été utilisé dans certainesprocédures aux États-Unis, au Mexique etau Kenya, par exemple. Une affectationaléatoire des élèves et des enseignants àcertains types de classes a été mise enœuvre dans l’État du Tennessee.

Les méthodes quasi-expérimentalesessaient d’assurer des conditionsd’évaluation qui se rapprochent le pluspossible de la situation précédente, sansavoir recours à l’affectation aléatoire. Cesméthodes fournissent des groupes decontrôle qui ressemblent au groupe traité,tout au moins pour ce qui est descaractéristiques observées, par le biaisdes méthodes économétriques quiincluent les méthodes d’appariement, dedifférence des différences et des variablesinstrumentales.

Le principal avantage des méthodesquasi-expérimentales est qu’elles peuventutiliser les données disponibles, et sont dece fait plus rapides et moins coûteuses queles méthodes purement expérimentales. Leprincipal inconvénient relève du fait que lafiabilité des résultats est affectée par lamoindre robustesse statistique, que lestechniques sont complexes et qu’unproblème de biais de sélection peutsubsister malgré toutes les précautionsprises. En effet, des caractéristiquesinobservables peuvent différencier les deuxgroupes comme la capacité individuelle, lamentalité d’un chef d’entreprise, etc. Lestechniques actuelles essaient de réduireces biais au maximum, mais il est difficiled’être certain de les avoir totalementéliminés.

8


Parmi les méthodes quasi-expérimentales,les techniques d’appariement sont cellesqui ont le plus progressé récemment.Basées sur des techniqueséconométriques sophistiquées, ellestentent de produire un échantillon decontrôle qui soit le plus proche possible del’échantillon traité.

Méthodes qualitatives

Les méthodes qualitatives sont égalementutilisées pour mesurer l’impact. L’accentest mis sur la compréhension desprocessus, comportements et conditionstels qu’on peut les observer chez lesindividus étudiés. Les approchesqualitatives reposent généralement sur lacollecte d’informations de diverse nature,sur des interviews d’acteurs (ouvertes ousemi-directives), voire sur des observationsparticipatives au cours desquellesl’évaluateur s’immerge dans l’universévalué. Les interviews peuvent donner lieuà des analyses directes par le chercheurou être préalablement traitées par deslogiciels appropriés. Elles peuventégalement conduire à une quantificationd’items.

La détermination des cas étudiés dans lecadre d’une évaluation qualitative ne peutreposer sur un échantillonnage aléatoire,vu le faible nombre d’observationsretenues en général dans cette procédure.Les évaluateurs essaient le plus souventde diversifier ces cas au regard devariables jugées pertinentes pour lephénomène étudié. Une méthode parfoisutilisée, dite de saturation, consiste àreproduire les interviews jusqu’à ce que lesinformations convergent.

Les méthodes qualitatives permettentd’obtenir une vision concrète duphénomène étudié et des perceptions desdifférents acteurs impliqués quant àl’impact de la mesure, les processus misen œuvre et les limites et obstaclesrencontrés. Les évaluateurs s’efforcent derepérer les effets indirects non prévus –tant désirables que non désirables – duprogramme. Les principales limitestiennent à la subjectivité des personnesinterrogées, à leur nombre relativementrestreint et à l’absence d’un groupe de

contrôle, ce qui confère aux résultats uneportée statistique limitée.

De nos jours, les évaluateurs s’efforcent decombiner les deux approches, enparticulier en conduisant une premièreévaluation qualitative servant de base àune évaluation quantitative à plus grandeéchelle et plus systématique. De même, ilpeut être utile d’entreprendre uneévaluation qualitative après avoir produitles résultats de l’évaluation quantitative, defaçon à éviter certaines interprétationserronées ou à compléter le plan d’analyse.Cependant, compte tenu des moyensaffectés aux opérations d’évaluation et auxdélais imposés dans la production desrésultats, il est rare de mettre en œuvre defaçon approfondie les deux typesd’approche.

Analyses coût-efficacité etcoût-bénéfice

Les analyses coût-efficacité etcoût-bénéfice peuvent également êtremobilisées dans le cadre d’une évaluationd’impact. Elles consistent à rapporter leseffets du programme à ses coûts. Dans lecas de l’analyse coût-efficacité, on mesureles effets par des variables physiques(nombre de diplômés supplémentaires,d’emplois créés, etc.) alors que dansl’analyse coût-bénéfice, les effets sontmesurés en termes monétaires(accroissement du salaire, de la valeurajoutée, etc.). Dans ce dernier cas, desratios tels que le taux de rendement internepeuvent être calculés, permettant decomparer le rendement de l’investissementdans un programme donné avec lerendement d’autres mesures. Les analysescoût-efficacité et coût-bénéfice sont desoutils puissants d’aide à la prise dedécision publique.

1.2.2 CONDUITE DEL’ÉVALUATION

Chacun s’accorde à reconnaître quel’évaluation de l’impact d’un projetcomporte des risques et est coûteuse. Delaquestion de savoir si l’évaluation estpertinente à celle relative à l’opportunité dediffusion des résultats, les questions à

9


résoudre sont nombreuses en matièred’évaluation d’impact (Baker, 2000).

Avant de lancer une opération d’évaluationd’impact, il faut bien en mesurer le coût, lesdélais nécessaires, les soutiens politiquesdont elle bénéficiera, mais aussi lesobstacles potentiels. Parfois, il vautpeut-être mieux se contenter en premierlieu d’une évaluation des processus et dela mise en place d’indicateurs de suivi,plutôt que d’échafauder une méthodologiecomplexe d’évaluation d’impact. Ceci peutêtre le cas lorsqu’il s’agit d’un projet quin’est pas encore arrivé à maturité, qui estsusceptible de modifications ou qui nebénéficie pas encore d’une stabilitépolitique suffisante. Dans la mesure oùl’évaluation d’impact nécessite du temps, ilvaut mieux s’assurer que les résultatsseront encore utiles lorsqu’ils serontproduits.

La mise en place d’une évaluation d’impactsuppose une bonne connaissance dufonctionnement du dispositif évalué. Cetteconnaissance peut passer par la présencedans l’équipe d’évaluation (nous yreviendrons) de quelques acteurs ayantl’expérience du dispositif. Mais elle doitsouvent s’appuyer sur une étude préalablede factibilité, au cours de laquelle lesprincipaux groupes d’acteurs sontinterviewés, les documents de présentationet les informations statistiques sontcollectés et analysés, la méthoded’évaluation est esquissée et discutée.

L’évaluation d’impact est coûteuse dans lamesure où elle requiert des expertsqualifiés, une collecte de donnéesnombreuses et complexes et un traitementsophistiqué ; il faut donc établir un budgetprécis de l’opération et s’assurer que lesfonds nécessaires seront disponibles pourl’ensemble de l’opération. De même, laforme de l’évaluation, ses différentesétapes et les conditions posées parchacune d’elles pour la réussite de lasuivante doivent être bien précisées audépart de façon à ce que toutes les partiesprenantes aient conscience des risquesméthodologiques et des délais impartis.Cela suppose que l’on puisse rapidements’assurer de la disponibilité effective desdonnées nécessaires, de leur qualité et de

leur utilisation dans le cadre de laméthodologie prévue. Ainsi, lorsque desbases de données élaborées sur plusieursannées ou issues de divers organismesdoivent être utilisées, il faut s’assurer deleur compatibilité ou des possibilitésd’appariement. Les variables destinées àmesurer l’impact doivent être clairementdéfinies au départ, en accord avecl’ensemble des parties prenantes etl’équipe d’évaluation. Il faut s’assurerqu’elles soient pertinentes eu égard auproblème étudié et qu’elles puissent êtrecollectées, soit à partir des bases dedonnées existantes, soit à partir desenquêtes réalisées. Il s’agit là d’une étapeimportante qui détermine largement la suitede l’opération d’évaluation.

Le soutien politique est une conditionessentielle à l’évaluation d’impact d’undispositif public. Souvent, l’évaluation vaperturber le fonctionnement routinier desacteurs impliqués dans le dispositif. Ilsrisquent de considérer l’évaluation commeune tentative de contrôle, voire de remiseen cause de leurs prérogatives, et ceci àtous les niveaux du dispositif, de la prisedes décisions politiques à la mise enœuvre sur le terrain. C’est pourquoil’équipe d’évaluation doit pouvoir s’appuyersur un soutien politique sans faille. Oncomprendra donc que l’évaluation supposeun réel courage politique des instancesgouvernementales qui en sont à l’origine,car outre les réactions négatives quel’opération elle-même peut entraîner parmiles acteurs, les résultats peuvent se révélercontraires aux attentes et déboucher surdes recommandations susceptibles deremettre en question le dispositif évalué.Ces recommandations peuvent égalementne viser que des ajustements qui neremettront pas en cause le dispositiflui-même.

L’évaluation doit pouvoir reposer sur uneéquipe offrant un éventail de ressources.Tout d’abord, dans la mesure où il s’agitd’opérations complexes, l’expérience enmatière d’évaluation d’impact est requisede la part de la majorité des membres del’équipe. Compte tenu de la forme retenue,des compétences diverses serontrecherchées : des économètreschevronnés ou des spécialistes des

10


entretiens non directifs, des juristes ou desspécialistes de logiciels lexicaux, desspécialistes de l’échantillonnage ou dessciences politiques. Mais il faut aussis’assurer d’une capacité de synthèse et dediplomatie permettant d’entretenir ledialogue avec des instances politiques quine sont pas a priori familiarisées avec ladémarche d’évaluation d’impact. Laprésence au sein de l’équipe d’évaluationde consultants locaux, voire mêmed’acteurs locaux, apparaît nécessaire afind’éviter une démarche qui serait coupéedes réalités du terrain (fondée sur unecollecte et une analyse de donnéesreproduisant trop imparfaitement lesmécanismes concrets étudiés). Quand uneopération de collecte d’informations deterrain est engagée, le recours à uneéquipe locale est une nécessité. Uneinstance de suivi de la démarched’évaluation, comprenant desreprésentants de tous les acteursconcernés par le dispositif, est une solutionà mettre en place pour éviter ces dérives.Elle peut également faciliter l’accès àcertaines sources d’informations.

Une fois que les résultats ont été obtenus,il est important qu’ils soient communiquésdans une forme adéquate à l’ensemble desparties prenantes. Une telle démarcheprésente, outre son caractèredémocratique, la possibilité d’uneacceptation partagée des conclusions etdes actions à mettre en place pour unemeilleure efficacité du dispositif.

Deux méthodologies différentes sontdécrites dans le présent rapport.L’évaluation d’impact des formations aumanagement à l’intention des cadresd’entreprises russes a été réalisée à partird’une approche qualitative, comprenantl’exploitation de documents de diversenature (statistiques et autres) et desinterviews approfondies.L’évaluationd’impact des actions publiques deformation continue au Maroc a recouru,quant à elle, à une approche quantitative.Celle-ci a mobilisé des bases de donnéesnationales établies à des fins de recueild’informations statistiques et de gestion,ainsi que des enquêtes par questionnairesfermés auprès de responsables

d’entreprises et de salariés. Destraitements économétriques sophistiquésont également été utilisés.

1.2.3 APERÇU DESRECHERCHES SUR L’IMPACTDE LA FORMATION ENENTREPRISE

La littérature s’est essentiellement posétrois questions : La formation en entreprisemène-t-elle à une augmentation dusalaire? Augmente-t-elle la productivité etla rentabilité au niveau de l’entreprise? Quibénéficie d’une formation en entreprise?

Le cadre général des études est fondé surla théorie du capital humain : la formationaccroît la productivité du travailleur. Lescoûts et les gains sont partagés de façonvariable selon le type de formation. Laformation peut être générale ou spécifique,formelle ou informelle. Les premiersmodèles retenaient l’éducation formelle etl’expérience professionnelle commemesure du capital humain. Les modèlesplus récents retiennent l’ancienneté dansl’entreprise, le fait d’avoir suivi un stage deformation, la durée des stages et lesdépenses de formation. Le niveau dequalification des emplois est parfois utilisépour estimer le stock de capital humaind’une entreprise.

Le cahier des charges de l’étude définit lecapital humain comme le savoir que lespersonnes acquièrent et utilisent au coursde leur vie afin de produire des objets, desservices ou des idées dans le contexte dumarché ou hors de celui-ci. Très peud’études font explicitement référence auxcompétences des travailleurs et àl’influence de la formation sur l’évolution deces compétences.

Les résultats s’appuient en général sur lesalaire comme mesure de la productivitéindividuelle. Certaines études s’intéressentégalement à l’effet de la formation sur lamobilité inter-entreprises. Lesperformances de l’entreprise sontgénéralement mesurées par sa valeurajoutée, la valeur ajoutée par travailleur,voire par les ventes.

11


Les études sur la Malaisie (Tan, 2001) et leMexique (Tan et Lopez-Acevedo, 2003)sont parmi les rares à tenter de mesurerl’impact de la formation sur lesperformances des entreprises, en tenantcompte des biais de sélection possibles.Parfois les entreprises qui fournissent de laformation sont plus performantes audépart, parfois, au contraire, ce sont lesentreprises les moins performantes quibénéficient de mesures publiques.

On distingue les enquêtes auprès desemployeurs – l’enquête européenne sur laformation professionnelle continue enentreprise (CVTS2)1 – ou des salariés –l’enquête Génération 982, l’enquêteEmploi et l’enquête Formation-Qualification professionnelle en France,l’enquête longitudinale nationale sur lesjeunes et l’étude de la dynamique desrevenus (PSID) aux États-Unis. Abowd etKramarz (2006) ont combiné deuxenquêtes nationales auprès desentreprises en France, l’une sur donnéesd’entreprises et l’autre sur donnéesindividuelles de salaires. Lescombinaisons de données recueilliesauprès d’employeurs et de salariés sontexceptionnelles. On peut évoquerl’enquête de 1999 sur le milieu de travailet les employés au Canada, et l’enquêtesur la formation fournie par lesemployeurs aux États-Unis qui a demandéaux employeurs ainsi qu’aux employésd’enregistrer sur un calendrier tous lesévénements relatifs à la formation aumoment où ils se produisaient. Il fautégalement citer les travaux de Nordman(2000 et 2002) au Maroc, en Tunisie et àl’Île Maurice.

Les résultats de ces enquêtes vont tousdans le même sens : la formation accroîtle salaire, la productivité et lesperformances des entreprises ; les plusformés ont un taux d’accès majeur à laformation même si la formation peut avoirun impact important sur le rendement destravailleurs à faible niveau deproductivité.

Ainsi, par exemple, Carriou et Jeger (1997)montrent à partir d’un échantillon de10 000 entreprises observées chaqueannée sur la période 1987-92, qu’il y auraitbien un lien significatif entre la formationcontinue et une augmentation de la valeurajoutée. Les auteurs soutiennent que laformation continue offre des rendementsdécroissants, peut être complémentaire aucapital et peut se substituer au travail.Cependant, ils font eux-mêmes remarquerque la forte corrélation mise en évidenceentre les gains en valeur ajoutée et le tauxde formation des entreprises n’établit pasun lien de causalité directe entre ceséléments.

L’impact de la formation continue sur lesperformances des entreprises est d’autantplus grand lorsqu’elle a lieu en relationavec des changements d’organisation dutravail et s’accompagne d’une évolutiondes structures d’emploi. La corrélationobservée dans les enquêtes menéesauprès des entreprises, entre la formationd’une part et l’introduction de nouvellestechnologies et l’innovation d’autre part,demeure importante. Cependant, il y a lieude remarquer dans ce cas la fortecomplémentarité de la formation et del’investissement matériel (achat d’unnouvel équipement, passage à unenouvelle organisation du travail), qui meten valeur le caractère essentiel de laformation mais aussi la difficulté d’enmesurer le rendement.

Quant aux caractéristiques des employés,le lien positif entre technologie et formationnoté au niveau des employeurs se reflèteaussi dans le fait que les employés quiutilisent l’ordinateur au travail sontdavantage susceptibles de suivre desformations. Dearden et autres (2000)distinguent le salaire de la productivité(valeur ajoutée par travailleur), citantl’exemple suivant : si la proportion destravailleurs formés dans une branchedonnée passe de 10% à 15%, laproductivité du travail augmente de 4%contre 1,6% pour les salaires réels.

12


1 Les résultats de la deuxième enquête européenne sur la formation professionnelle continue en entreprise(CVTS2), conduite en 2000/01, sont disponibles sur l’internet :http://ec.europa.eu/comm/education/programmes/leonardo/new/leonardo2/cvts/index_fr.html.

2 Pour de plus amples informations, voir le site web du Céreq : www.cereq.fr.

1.3 ÉTUDES DE CAS

Les méthodologies évoquées ci-dessus ontété expérimentées dans le cadre de projetsconduits par l’ETF concernant deux étudesd’impact, comme suit :

� en Russie : l’effet produit sur lesentreprises russes par le programmede formation au managementorganisé dans le cadre du programmeeuropéen Tacis afin de préparer lesentreprises à l’économie de marché,et mené dans le contexte de lapolitique partenariale entre l’Unioneuropéenne et la Russie ;

� au Maroc : la mise en œuvre descontrats spéciaux de formation dans lesentreprises marocaines, un programmese déroulant dans le cadre d’unepolitique publique d’aide aurenforcement de la compétitivité desentreprises dans la perspective del’avènement de la zone delibre-échange (en 2010).

Ces deux projets d’évaluation visaient àdéterminer si les mesures en question

avaient atteint leur but et à en mesurerl’effet. Dans le cas russe, il s’agissaitd’observer les effets d’un programme etdans le cas marocain, de les mesurer.

Ces projets illustrent deux approchesdifférentes. Dans le cas russe, les effets dela politique observée devaient êtreidentifiés et qualifiés. Une appréciationqualitative de son efficacité devaitpermettre de déterminer dans quellemesure les objectifs avaient été atteints.Dans le cas marocain, il fallait mesurer leseffets attribuables uniquement à lapolitique, à savoir les modifications de l’étatdes choses dont elle était la cause. End’autres termes, que se serait-il passé si,toutes choses étant égales par ailleurs, lapolitique ou le programme n’avait pas étémis en œuvre?

Comme il a été rappelé plus haut, lesétudes d’impact sont une des modalitésd’évaluation des politiques publiques. Lerôle de l’ETF consistait à démontrer lafaisabilité de telles études et la valeurajoutée du processus en soi pour lesacteurs de l’évaluation.

13


2. LA PERSPECTIVE RUSSE :ÉTUDE DE CAS D’UNEAPPROCHE QUALITATIVE

AVANT-PROPOS DESAUTORITÉS RUSSES

Le programme de formation aumanagement réalisé au profit desentreprises de la Fédération de Russie,dénommé «Programme présidentiel», a étémis en œuvre en vertu du décret n° 774promulgué par le président de laFédération de Russie en date du 23 juillet1997. Des entreprises tant russesqu’étrangères participent à ce programme.Depuis son démarrage, le Programmeprésidentiel est devenu un outil essentielde la politique nationale afin d’accroîtrel’efficacité de la gestion des entreprises etd’élargir la coopération économique avecl’étranger.

Au cours de ces dernières années, leProgramme présidentiel a permis laformation par des organismes de pointe enmatière d’éducation de quelque 39 000spécialistes recommandés par lesinstances d’État de la Fédération deRussie. Plus de 9 300 jeunes managers

russes ont pris part à des formations eninterne au sein d’entreprises étrangères,organisées grâce au soutien financier desgouvernements de 13 pays et de l’Unioneuropéenne.

Forts de la formation suivie dans le cadredu Programme présidentiel, les jeunesmanagers contribuent de manière nonnégligeable à la croissance de l’économierusse ainsi qu’au renforcement des liensinterrégionaux et internationaux. Lesstatistiques annuelles établies par leministère du Développement économiqueet du Commerce de la Fédération deRussie en attestent. Elles permettent demesurer l’efficacité du Programmeprésidentiel aux yeux de chaquespécialiste ainsi que du point de vue del’entreprise ayant envoyé ses spécialistesen formation. Ces recherches ont révéléqu’environ 70% des participants étaientissus des petites et moyennes entreprises(PME) qui constituent le socle del’économie dans les différentes régions.Rien qu’au cours des deux dernières

15

2

années, les managers formés dans lecadre du Programme présidentiel, soit untotal d’environ 10 000 personnes, ont crééplus de 30 000 nouveaux postes de travail.Par ailleurs, les réductions renduespossibles dans les budgets à diversniveaux se sont chiffrées à plus d’unmilliard de roubles.

Ainsi, une analyse régulière de l’efficacitédu Programme présidentiel en matière dedéveloppement économique des régions etde la Russie en général constitue un outilessentiel de gestion de la qualité duprogramme. De même, elle permet de tirerdes conclusions quant à son utilité et à sonélargissement.

Durant huit années, quelque 40 000questionnaires ont été réceptionnés etanalysés : 28 000 provenaient despécialistes et 12 000 de dirigeantsd’entreprise. Afin d’analyser lesquestionnaires complétés par lesspécialistes et par les entreprises quiavaient envoyé ceux-ci en formation, il aété nécessaire de recourir principalementà une approche quantitative. Tout encernant bien les contraintes d’une telleapproche, le ministère duDéveloppement économique et duCommerce et le Comité d’organisation dela formation au management au profitdes entreprises de la Fédération deRussie n’avaient pas la possibilitéd’adopter une approche qualitative plusmarquée.

La recherche menée par l’ETF en 2005-06a permis de pallier dans une grandemesure cette faiblesse. Réunissant desexperts de premier plan, tant russesqu’étrangers, elle a fait appel à desméthodes d’analyse qualitative. Il était toutà fait essentiel de disposer de l’opiniondes bénéficiaires directs de cetteformation spécialisée, à savoir lesdirigeants des entreprises des différentesrégions de Russie qui avaient envoyé leurpersonnel suivre cette formation.Naturellement, il n’a pas été possible demener cette recherche dans toutes lesrégions et elle s’est donc limitée àcertaines d’entre elles, notammentSaint-Pétersbourg et les provinces deNizhny Novgorod et de Tver.

La recherche s’est basée sur les résultatsprovenant de quelque 200 entretiens menésau sein du groupe cible. Ces entretiens ontété conduits par des experts de l’ETF ainsique par des experts externes attachés auprojet. Un certain nombre de membres dupersonnel des entreprises des régionsretenues ont ainsi été interviewés. Cesentretiens ont permis une analyse pluspoussée ainsi que la rédaction derecommandations. Outre les expertsmembres du personnel de ces entreprises,les entretiens ont également recueilli l’avisde représentants des autorités régionales etmunicipales, de professeurs universitairesissus des établissements participant audéploiement du Programme présidentiel etdes membres de cercles regroupantd’anciens diplômés.

Parallèlement à leurs travaux, leschercheurs ont comparé les réponses desparticipants au Programme présidentielavec celles émanant de participants àd’autres programmes d’assistancetechnique, une telle comparaison n’étantpas réalisable dans le seul cadre d’unprogramme unique. En outre, la recherchemenée par l’ETF a été perçue par lesparticipants au Programme présidentielcomme une évaluation externe. Selon leministère du Développement économiqueet du Commerce et le Comitéd’organisation de la formation aumanagement, cette évaluation a établil’objectivité des réponses recueillies(diminution de l’autocongratulation).

Le projet de l’ETF a généré desenseignements fort utiles. D’une part, il aconforté les conclusions tirées à l’issued’une recherche de routine basée sur uneapproche quantitative. D’autre part, il aproduit de nouvelles données nouspermettant d’apporter des modificationssignificatives au contenu du Programmeprésidentiel.

Tout d’abord, la conclusion générale destravaux de recherche a conforté celle tiréede l’analyse de routine de l’efficacité duProgramme présidentiel, à savoirl’influence positive du Programme surl’évolution du management dans lesentreprises russes et dès lors, sur lesindicateurs économiques nationaux.

16


Ensuite, un certain nombre de conclusionsprécises découlant de la recherche ontpermis de se forger une meilleure idéequant à la poursuite du Programmeprésidentiel durant la période 2008-13.Relevons ainsi la nécessité de concentrerles efforts sur le développement des PME,de renforcer l’approche du projet enmatière de gestion d’entreprise et deformer les professeurs des universitésparticipant au programme. Dans sa formenouvelle, le Programme présidentielaccorde un rôle plus important auxreprésentants des autorités régionales.

L’un des enseignements les plusimportants a été la nécessité de mainteniret de développer la formationprofessionnelle à différents niveaux dusystème éducatif. Les débats de 2006concernant les nouvelles tendancesrelevées dans le déploiement duProgramme présidentiel avaient déjàabouti à cette conclusion, et ce plusparticulièrement en ce qui concerne laformation d’ingénieurs pour l’économierusse. Cette formation porte surl’intégration de technologies de productionindustrielle dans divers secteurs. De telles

évolutions sont considérées comme autantde domaines possibles de collaborationbilatérale avec l’Allemagne et la Norvège.

La recherche a mis en lumière une forteinterdépendance, même si elle n’est pasencore bien connue, entre le type deprogramme de formation (en termes destructure et de contenu) et le staded’évolution d’une entreprise. Cetteinterdépendance s’illustre désormais dansle nouveau format des programmes deformation, qui intègre une orientationprojet.

Dans l’ensemble, le Comité d’organisationde la formation au management est fortsatisfait des résultats de la recherche etespère qu’elle se poursuivra au long desprochaines étapes de déploiement duProgramme présidentiel.

A.V. SharonovVice-président du Comité

Secrétaire d’ÉtatVice-ministre du Développement

économique et du Commerce de laFédération de Russie

2007

17

2. LA PERSPECTIVE RUSSE : ÉTUDE DE CAS D’UNE APPROCHE QUALITATIVE

2.1 INTRODUCTION

Au cours des dix dernières années, degros efforts ont été réalisés par lesinstitutions de formation au managementde la Fédération de Russie, visant àaméliorer la qualité des techniques etméthodes de formation, la préparation desenseignants et l’internationalisation desprogrammes de formation. Parmi les effetspositifs de ce processus figurentl’expansion du marché de la formation aumanagement et le développement desprestations de services-conseils dans lepays, qui ont généré une importantedemande de la part des entreprises et desjeunes désireux de devenir des managersd’entreprise. Cette situation a porté à unemultiplication des prestataires et à uneoffre très variée de services dans cedomaine.

De très nombreux bailleurs de fonds sont àl’origine du développement de ce marchégrâce à des interventions visant l’appui auxorganismes de formation au travers del’amélioration de la capacité institutionnelle,l’échange de personnel, le développementde cours de formation, etc. L’interventionde ces bailleurs de fonds dans larestructuration et le développement dusecteur privé ou du secteur industriel engénéral, explique aussi la stimulation de lademande de formation au management.Celle-ci est aujourd’hui orientée en partievers les prestataires de services russes eten partie vers les consultants du marchéinternational. Un large éventail de projetsde nature diverse ont ainsi été appuyés,fondés sur l’hypothèse qu’ilscontribueraient de manière progressive àl’établissement d’une économie de marchédans le pays.

Un inventaire effectué par l’ETF a permisde dénombrer plus de 300 programmes deformation au management, soutenus pardes bailleurs de fonds et mis en œuvredans la Fédération de Russie depuis 1991.L’Union européenne, dans le cadre duprogramme Tacis, a été de loin le bailleurde fonds le plus important et le plus grosfournisseur d’assistance technique enmatière de formation au management.

Durant la même période, l’ETF a cherché àapprofondir sa connaissance du contextede la coopération internationale dans cechamp. Elle s’est également penchée surdes questions telles que l’évaluation desbesoins en formation, les conditions d’unemeilleure efficacité de la formation, lescaractéristiques des PME en Europecentrale et de l’Est, l’évaluation del’assistance internationale dans le domainede la formation au management, lesaspects de la qualité de la formation, etc.Mais elle ne bénéficiait pas d’uneconnaissance satisfaisante du processusde coopération engagé depuis une dizained’années dans la Fédération de Russie nide son impact en termes de réaction, demodification de comportement et derésultats des managers ayant suivi laformation. Il était donc important de savoirquelles compétences devaient posséderles managers russes pour faire prospérerleurs entreprises dans leur environnementsocioéconomique. C’est la raison pourlaquelle en 2003, l’ETF a décidé d’avoirrecours au concept d’impact de laformation, notamment en Russie, unedécennie après la fin de l’ère soviétique.

L’évaluation d’impact telle qu’utilisée dansle présent projet, va au-delà desévaluations classiques dans la mesure oùelle tente d’analyser les effets générés surle long terme – non seulement les effetsattendus mais également les effetsimprévus qui peuvent constituerd’importantes sources d’enseignements.L’étude d’impact retenue porte sur unedizaine de projets et se concentredavantage sur les individus que sur lesprocessus ou les infrastructures, sur leurévaluation et leurs opinions, et sur leurperception des résultats et avantages tirésde la formation. Elle a recours à desapproches plutôt qualitatives quequantitatives. Les conclusions que l’onpeut tirer permettent de mieux cerner lesgroupes qui bénéficient vraiment du projetet donnent une indication quant à ladurabilité des résultats sur le long terme.Le projet vise donc à mieux appréhender lacontribution de la formation aumanagement au développement desentreprises de la Fédération de Russie.

18


2.2 CONTEXTE DU PROJET

Le présent chapitre présente les résultatsd’une étude d’évaluation réalisée entrejanvier et septembre 2005 au sein de laFédération de Russie et plusparticulièrement dans les régions deSaint-Pétersbourg, Nizhny Novgorod etTver. Cette étude3 avait pour objet la miseen évidence des effets à long terme desinitiatives de formation au managementmenées au sein de la Fédération deRussie. Plus particulièrement, elleentendait analyser l’effet des projets deformation nationaux et internationaux surl’évolution du management au cours de ladécennie écoulée. Elle visait également àpartager les résultats obtenus avec lesprincipales parties prenantes aux niveauxnational et international dans le butd’étayer les politiques à venir.

Dans la conception et la conduite de cetteétude, une approche interprétative a étéprivilégiée, d’un point de vue tantépistémologique que méthodologique. Ona estimé que la formation au managementdans des économies en développementpourrait être considérée comme unprocessus ouvert au cœur duquel lamodification du mode de gestion estcompliquée par l’ambiguïté ambiante, qu’ils’agisse de la nouvelle impulsion donnée,des agents du changement ou de sesobjectifs (influencés par des élémentsculturels, sociaux, politiques etéconomiques). Pour cette raison, uneapproche interprétative a semblé pouvoirdavantage répondre aux problématiquestelles que :

� la nécessité de comprendre «pourquoi»(pour quelles raisons, dans quellescirconstances) et «comment» (par quelsprocessus) des effets/impacts précis sesont manifestés (ou non) ;

� la nécessité de disposer d’une vision«qualitative, éprouvée et structurée» del’impact de la formation afin que le pointde départ, la conception et la finalitédes lignes directrices en matièred’investissements ultérieurs soient

pleinement étayés (découlant du besoinde plus en plus présent parmi lesbailleurs de fonds de prendre des«décisions reposant sur des donnéesprobantes», dérivant d’études d’impactapprofondies) ;

� la nécessité de cerner la natureparticulière des entreprises et chefsd’entreprise russes, ainsi que leurcontexte caractérisé par des spécificitésculturelles ;

� la nécessité de prendre enconsidération et de restituer fidèlementl’ensemble très complexe d’intérêtspolitiques (locaux, nationaux etinternationaux) qui entourent le projetet, de façon plus générale, de répondreà l’enjeu des politiques de formation aumanagement.

2.3 APPROCHEÉPISTÉMOLOGIQUE

Le manque généralisé de dimensionépistémologique qui semble caractériserles approches en vigueur en matièred’évaluation des effets générés, nous aconduits à reformuler de manièreanalytique les théories sous-jacentes quisous-tendent les pratiques d’évaluation lesplus répandues. De cette façon, nousavons cherché à expliciter les principesgénéraux de référence de l’approche quenous avons privilégiée, de manièreantinomique ainsi qu’en parallèle. De parleur nature même, les concepts implicitesd’un point de vue anthropologique, formentles prémisses culturelles des discoursexplicites et des pratiques intentionnelles.Aussi, notre analyse a été caractérisée parune prise en considération particulière dela dimension culturelle des processus etdes phénomènes, ceux étudiés (l’impact dela formation) comme ceux concrétisésdans le cadre de la recherche. Notreapproche est dès lors ethnologiquementorientée.

Deux concepts fondamentaux ont étéétudiés : le concept de changement et leconcept d’apprentissage.

19


3 L’Union européenne a invité l’ETF à entreprendre cette tâche. Pour mener à bien la phase de déploiement,l’ETF s’est adjoint le soutien d’une entreprise indépendante experte dans le domaine de l’évaluation de laformation au management.

2.3.1 LE CONCEPT DECHANGEMENT

L’impact de tout événement, et toutparticulièrement celui d’une actionintentionnelle (en d’autres termes, leschangements engendrés), peut être soitprévu ou escompté (et dès lors planifié), soitimprévu. Au démarrage de l’évaluation d’uneaction ou d’un ensemble d’actions – commeune politique, un programme de formation ouencore un investissement – notre point devue et nos choix méthodologiques sontégalement liés aux théories relatives auxchangements individuels et sociaux,auxquelles nous faisons référence(inconsciemment la plupart du temps). Cesthéories englobent des concepts précis ayanttrait d’une part, à la transmission desconnaissances et des innovations, et d’autrepart, à la relation qui existe entre les idées, lecomportement, les décisions et la mise enœuvre des décisions.

Implicitement, les approches les plusrépandues en matière d’évaluation fontréférence à une théorie du changementprogrammable. Celle-ci repose surl’hypothèse selon laquelle les décisionspeuvent se décliner fidèlement en unvéritable comportement (en admettant queles acteurs adoptent un comportementrationnel), et que ce comportement peutrefléter des idées et matérialiser dessouhaits et des conjectures. Cetteconviction s’appuie sur une dichotomieessentielle dans la pensée occidentale :celle de l’âme et du corps. L’âme serait lesiège des idées et des pensées, tandis quele corps serait l’instrument de l’action(Brunsson, 1995). Dans la construction del’ordre social, ce modèle âme-corps génèreune distinction entre ceux qui réfléchissentet ceux qui agissent, entre ceux quiprennent les décisions et ceux quiexécutent les ordres. Cette distinction entrepensée et action, et la subordination de laseconde à la première, fait partie descritères de rationalisation les plusimportants dans les sociétés modernes.Cela vaut pour l’environnement deproduction mais également pour la vie ensociété en général.

Ces concepts ont intégré les hypothèsesculturelles implicites (le bon sens) quel’on peut observer dans la société

occidentale. Taylor (1911) en est lethéoricien le plus célèbre et la productionen série, l’illustration concrète la plusvisible. Ces concepts peuvent être mis enrelation avec une autre idée tout aussiprofondément ancrée dans notre culture :celle selon laquelle la connaissance (lesavoir) est fondamentalementintellectuelle. Parallèlement, l’importancede la connaissance tacite ou sensorielleest sous-évaluée car, appartenant aucorps, celle-ci échappe au contrôle de laraison.

Cependant, cette hypothèse qui avanceune cohérence et une hiérarchieséquentielle entre idées et actes est sanscesse remise en cause par l’expériencepratique. D’une part en effet, les acteurs etles groupes posent des choix délibérés etélaborent des programmes de changementprécis. D’autre part, une fois ces derniersmis en œuvre, ils engendrent une palettede conséquences inattendues et d’effetsnon souhaités ou contre-intuitifs. On estimegénéralement que les résultats enregistrésauraient correspondu plus fidèlement auxattentes si le programme avait été élaboréde manière plus analytique ou si le contrôleen cours d’exécution avait été plusrigoureux. Des demandes en ce senss’ensuivent donc et on tente de gommerles effets non désirés à un stade ultérieur.L’adoption d’une théorie de changementprogrammable amène l’évaluateur àmesurer les effets d’un événementrelativement au modèle rationnel decausalité séquentielle inscrit dans saconception, afin de vérifier si ce qui s’estréellement produit correspond auxattentes. L’attention portée auxconséquences non envisagées dans lemodèle sera peu importante, voireinexistante.

Les concepts plus délicats de changementsocial, et la relation entre idées etcomportement (comme la théorie del’acteur-réseau) à laquelle nous nousréférons tout particulièrement, amènent àpenser que tout élément conçu pourproduire un résultat est systématiquementtransféré par les acteurs. Selon Latour(1986, p. 267) :

«La diffusion de toute chose(affirmations, ordres, produits, biens)

20


dans le temps et l’espace relève dechaque individu ; chacun peut agirdifféremment. L’individu peut négliger,modifier, altérer ou ne pas respecter latâche qui lui a été confiée. Il peut yajouter du contenu, voire sel’approprier.»

Dans ce cas de figure, le changements’ébauche comme un transfert. Dans cecontexte, le terme transfert signifieégalement traduction. Il convienttoutefois d’y ajouter la notion de transportet de modification, d’établissement deliens qui n’existaient pas précédemmentet qui modifient à la fois les acteurs etl’objet du transfert au sein d’un réseauhétérogène de composantes humaines ettechnologiques, de relations entre êtreshumains et idées, idées et objets,comportement et objets. Le concept dechangement entendu comme un transfertau sein d’un réseau hétérogène decomposantes humaines ettechnologiques, ainsi que la parfaiteconnaissance du caractère imprévisible,arbitraire, hasardeux et irrationnel desprocessus de transfert amènent lesévaluateurs à accorder autant d’attentionaux effets inattendus qu’aux effetsescomptés. Ils doivent conserver unevraie curiosité vis-à-vis des phénomènesobservés et éviter d’élaborer desschémas d’analyse rigides qui nepermettraient pas la prise enconsidération, au sein des processusconcrets, de certains éléments isolés,voire parfois des éléments les plusessentiels. La distinction entre effetsescomptés et effets imprévus (Scriven,1967) constitue le premier axe de lamatrice théorique que nous avonsutilisée dans le cadre de notre étude.

2.3.2 LE CONCEPTD’APPRENTISSAGE

Dans les techniques d’évaluation et lesmodèles actuels, la théorie implicite dechangement programmable est associéeà un concept d’apprentissage cognitif etfonctionnel (Turner, 1991). Dans cetteperspective, l’apprentissage est unprocessus intentionnel, implicitementsystématique et axé sur la résolution d’un

problème, motivé par la nécessité de lerésoudre. Ce modèle implicite est unmodèle de rétroaction. Le participant estconfronté à des changements majeurs(de nouvelles façons d’envisager etd’agir), les compare aux résultatsescomptés et en tire ses conclusions.Naturellement, ces conclusionsinfluencent la capacité de l’individu àrésoudre le problème en question, ainsique son futur comportement.L’apprentissage est un phénomèneprofondément individuel. Il s’agit avanttout d’un traitement d’informations, quimodifie une structure cognitive. Pourévaluer l’apprentissage, il s’agit demesurer l’ampleur des modifications quise sont produites au sein de la structurecognitive des individus.

À un concept cognitif et fonctionnalistede l’apprentissage, il peut être opposéune approche considérantl’apprentissage comme un phénomènesocioculturel, enrichi d’éléments etd’aspects non intentionnels et noninstrumentaux. Cette approche soulignel’importance des relations sociales et desconnaissances tacites qu’ellescomportent. Ainsi l’apprentissage neconstitue pas tant une façond’appréhender le monde qu’une manièrede s’intégrer à une sphère sociale, unecommunauté de pratiques (Lave etWenger, 1991), qu’elle soitprofessionnelle ou organisationnelle. Ausein de cette communauté, il se produitun partage progressif ainsi qu’uneassimilation inconsciente des habitudeset de l’identité. Elle comporte égalementun univers symbolique, un ensemble designifiants qui permet de donner du sensà l’expérience. Cette vision del’apprentissage accorde une importancemoindre à l’esprit individuel qu’aucontexte participatif et interactif danslequel l’individu apprend (y compris defaçon non intentionnelle). En outre, ellesouligne les effets symboliques del’apprentissage et non ses effetsconcrets, ainsi que le fait qu’il soitsusceptible non seulement de faire naîtredes compétences techniques ou de faireassimiler des notions, mais également desusciter des points de vue différents desrôles et de la réalité.

21


L’autre axe de notre matrice se rapporteà la nature substantielle/factuelle ousymbolique/culturelle des effets del’intervention en question. Plus ardue etsubtile que la précédente, mais tout aussiessentielle, cette distinction a été utiliséeafin d’évaluer les effets des politiques etprogrammes publics (Edelman, 1964).Le postulat de départ est que touteaction peut générer des résultatssubstantiels, factuels et pragmatiques quisoient potentiellement tangibles etquantifiables de manière objective, demême que des résultats symboliquespouvant être évalués sur la base deperceptions, de sensations et devaleurs.

Si un acteur se déclare satisfait d’uneintervention qui peut être qualifiée desymbolique, cette intervention possèdedès lors une réelle importance aux yeuxde l’intervenant et ne peut êtrediscernée des autres en termes derésultat. De même, il est essentiel desouligner qu’un résultat symbolique (lamodification de la signification accordéeà un événement, par ex.) peut avoir desconséquences non négligeables à termeet influencer les comportements demanière notable. Néanmoins, il y a lieude distinguer ces deux niveauxd’analyse. En effet, ils sont à la foisintégrés de manière faible et imparfaiteet ils sont le produit de divers processuset peuvent être reconstitués à l’aide dedifférentes méthodes d’analyse.

2.4 CONCEPTION DE LARECHERCHE ET IMPLICA-TIONS MÉTHODOLOGIQUESDE L’UTILISATION DUMODÈLE THÉORIQUE

2.4.1 LES DIFFÉRENTSNIVEAUX

L’approche interprétative supposaitl’adoption de la logique des études de casmultiples, avec des méthodes qualitativeset un travail d’investigation sur le terraincomme autant d’étapes essentielles del’étude. La conception des études de cas afait référence au modèle décrit ci-avant,tout en évoluant simultanément à desniveaux parallèles.

D’une part, un schéma analytiqued’interprétation a été élaboré sur la basedes documents disponibles en matièred’évaluation de la formation. Comme nousl’avons noté, ces écrits adoptent dans unelarge mesure une théorie de changementprogrammable. Celle-ci a acquis salégitimité sociale et scientifique eninsistant sur l’aspect mesurable (et bienévidemment donc, la forte tangibilité) deseffets prévus et recherchés. Elle supposeun enchaînement temporel et déterministede relations de cause à effet qui renfermeles hypothèses culturelles implicitesévoquées ci-avant. Les idées sonttransférées d’un esprit à un autre.

22


Escompté Inattendu

Substantiel

Symbolique

Modèle théorique de l’analyse d’impact

Les esprits réceptionnent ces idées et seles approprient, avant de les convertir encomportements. Ceux-ci se déclinent enrésultats tangibles dont l’ensemble setraduit en une performance pour le groupe,puis en un système progressivement plusconséquent. Cet enchaînement linéairesuggère deux méthodes de collecte etd’organisation des données :

� la reconstitution en distinguantclairement les trois phases : la situationantérieure à la formation, lescaractéristiques de l’interventioneffectuée et ses objectifs, et ensuite leschangements intervenus à l’issue del’intervention par rapport à la situationinitiale ;

� la reconstitution de l’impact impliquantl’étude subséquente d’un enchaînementd’effets : la satisfaction des participants,l’apprentissage, l’application, lesrésultats pour l’entreprise et lesrésultats au niveau du système.

Ces lignes directrices dictent le genred’informations à collecter, les personnes àinterviewer, les questions à poser ainsi quela façon de structurer la synthèseanalytique. Parallèlement cependant, lesconcepts les plus problématiques décritsci-avant ont amené l’évaluateur à s’écarterdu schéma chaque fois que la réalité desdonnées récoltées suggérait d’autreshypothèses, d’autres relations ou encored’autres enchaînements. Les données onttout particulièrement poussé lesévaluateurs à étudier avec une attentionparticulière tout effet inattendu indirect,occasionnel, souhaitable ou nonsouhaitable. De plus, ils ont tenté de cernerles effets symboliques et pragmatiques dela formation. Leur attention s’estconcentrée sur la dimension symboliqueincontournable dans l’examen d’études decas comme des micro-étudesethnographiques (ou étudesethnographiques en situation). À vrai dire, ilest impossible de retranscrire lasignification de la formation aux yeux desparticipants sans comprendre les critèressignification-attribution qu’ils ont utilisés, etdès lors leur culture. Vu que la culture estle produit de l’histoire et des expériencescollectives, on cherche à adopter uneapproche aussi longitudinale que possible,malgré le cadre restreint d’études aussi

brèves et ciblées, en tenant pleinementcompte du contexte, des processus et desexpériences antérieures. De ce point devue, l’«avant», qui est considéré selon leschéma classique comme un paramètrepermettant de mesurer l’«après», estégalement (et surtout) utilisé afin decomprendre la signification attribuée parles acteurs à la formation et à sesrésultats.

L’attention accordée à la dimensionsymbolique n’implique nullement quel’identification et l’analyse des effetssubstantiels de la formation soientnégligées.

Dès lors, l’objectif a été de cernerspécifiquement les effets qui pouvaientraisonnablement être attribués à cetteinitiative de formation, tout en relevanttoute corrélation éventuelle entrel’événement et les performances engénéral (accroissement du chiffre d’affaireset de l’efficacité de manière générale,augmentation des bénéfices, etc.) chaquefois que les acteurs avançaient de telleshypothèses. Dans ce cas en effet, même siune corrélation ne peut être démontrée, lacertitude qu’elle existe souligne les effetsde la formation sur les schémas cognitifsdes acteurs. De plus, les comportementsgénérés par cette certitude en termes depolitique de formation, de motivation descollaborateurs, d’engagement, etc.,peuvent avoir des effets non négligeablessur les performances de l’entreprise àmoyen terme. Il s’agit là d’un exempleclassique d’effet symbolique qui se traduiten effet substantiel au fil du temps, sansque l’on puisse toutefois le cerner et lequantifier.

2.4.2 ÉTUDES DE CAS :LOGIQUE, MODALITÉSOPÉRATIONNELLES ETOBJETS

Dans chaque étude de cas, l’entreprise aconstitué la principale unité d’analyse.Parallèlement, l’attention s’est égalementportée, durant le travail d’investigation surle terrain, sur deux autres dimensions : laperspective individuelle et l’environnementimmédiat.

23


Le choix des cas à étudier n’a pas faitappel à une logique d’échantillonnage,mais à une logique de répétition. Lapremière supposait la prise en compte deplusieurs unités d’analyse représentantune population plus large. Dans laseconde, l’objectif était de vérifier si lesenseignements tirés d’un cas isolépouvaient être confirmés par d’autres casprécis et dès lors autoriser unegénéralisation. Un cas peut en répliquer unautre au sens littéral – en débouchant surdes conclusions identiques ou similaires,ou au sens théorique – lorsque les diversrésultats peuvent être interprétés selon descaractéristiques qui diffèrent de celles dessituations étudiées (définies ex ante lors dela phase de sélection du cas ouapparaissant a posteriori). Une étude decas – comme une stratégie de recherche –ne permet pas de définir dans quellemesure les caractéristiques du phénomèneobservé dans certaines circonstances (letype d’effets de la formation dans les casanalysés, par ex.) sont présentes au seinde la population d’où sont tirés les casétudiés. Elle ne permet pas davantage devérifier les relations abstraites et généralesentre les variables. Par contre, elle estparticulièrement indiquée dans l’étude desprocessus à travers lesquels s’exprime unphénomène, grâce à l’interprétation globaledes «comment» et des «pourquoi» duphénomène au sein du contexte précis oùil se produit.

Sur le terrain, diverses méthodes derecherche ont été adoptées.

� Une analyse des documentsdisponibles utiles à la restitution descaractéristiques de l’intervention, desacteurs et du contexte.

� Des entretiens approfondis etsemi-structurés comportant diversescatégories de sujets (client, formateurs,public visé [participants], parfois lesbénéficiaires indirects ou finals [lescollègues ou supérieurs desparticipants, par ex.], ainsi que lestémoins privilégiés éventuels). Une listede contrôle semi-structurée des pointsessentiels à aborder durant l’entretien aété établie. Les entretiens ont étémenés avec une certaine libertévis-à-vis de celle-ci, permettant aux

personnes sondées de s’étendre surl’un ou l’autre thème qui leur tenaitparticulièrement à cœur. Cette flexibilités’est révélée essentielle, car il estsouvent impossible de prévoir le résultatd’un tel entretien. À des fins de fiabilité,il a été impératif de procéder autant quepossible à une vérification croisée desréponses récoltées. En effet, il sepouvait que les personnes sondéesn’aient pas été tout à fait franches dansleurs réponses pour toute une série deraisons (réticence à émettre descritiques, propension à dissimuler seslacunes personnelles, souhait de fournirla réponse désirée par l’intervieweur,simple distraction, etc.).

� Une observation participative, lechercheur tâchant de se rapprocherautant que possible de l’environnementétudié, pour les raisons évoquéesci-avant, de «vivre» aux côtés desacteurs (ne fut-ce que quelques jours)en observant leur travail et leur moderelationnel, et d’enrichir ainsi lesdonnées de la recherche en englobanttout ce qui lui est arrivé durant son brefséjour sur site.

Selon le cas, le nombre d’entretiens menésa considérablement varié. Au terme d’unephase exploratoire initiale réunissant desreprésentants des diverses catégoriesénoncées ci-avant, deux critèresfondamentaux ont été utilisés afin dedéterminer s’il était nécessaire (ou non) depoursuivre la collecte d’informations : d’unepart, la vérification croisée des données (ledegré de cohérence observée parmi lesdonnées rassemblées à l’aide dedifférentes méthodes) et d’autre part, ceque l’on qualifie de saturation analytiquedes catégories (l’assurance raisonnableque tout apport supplémentaire dedonnées ne modifierait pas de manièresignificative la restitution et l’interprétationdu cas étudié).

Des données secondaires ont été utiliséesà des fins comparatives pour les résultatsdes entretiens, essentiellement desstatistiques et des rapportsgouvernementaux, des rapportsd’évaluation ainsi que d’autres publicationspertinentes. L’objectif était de procéder àune vérification croisée de la cohérence

24


globale des données récoltées sur leterrain par rapport aux connaissances déjàdisponibles4.

2.4.3 DÉFINITION DESCRITÈRESD’ÉCHANTILLONNAGE

L’étude à grande échelle a été menée dansles trois régions retenues par le comitéscientifique : Saint-Pétersbourg, NizhnyNovgorod et Tver.

Dans chacune de ces régions,l’échantillonnage a reposé sur lesprincipaux critères suivants.

� La typologie des projets à évaluer : lesprojets englobaient l’ensemble desinitiatives menées dans le cadre duprogramme Tacis (l’initiative Productivité,le programme de formation desmanagers, le programme TacisEnterprise Restructuring Facility, le projetDelphi ainsi que, dans une certainemesure, le Programme présidentiel). Parailleurs, l’échantillonnage a tenu comptedes programmes financés par la Banquemondiale, et ce tout particulièrementdans la région de Nizhny Novgorod. Lecritère général était de refléterl’ensemble des différents typesd’initiatives lancées.

� Une participation significative à laformation : ce critère constituait unfacteur préalable essentiel lors du choixdes entreprises participant à l’étude decas. L’analyse a porté sur le nombre depersonnes concernées et/ou sur leurniveau hiérarchique et leur rôle. Lesentreprises retenues ont été cellesprésentant un nombre de participants

important ou un groupe de participantsplus restreint mais occupant desfonctions de direction. Ce critèrerevêtait une importance particulièredans le cas d’une formationinter-entreprises.

� Le secteur d’activité et la taille del’entreprise : une fois les critèrespréliminaires satisfaits, l’échantillonnages’est poursuivi en abordant les critèresdu secteur d’activité et de la taille del’entreprise. La sélection s’est portéesur des PME et de grandes entreprisesdes principaux secteurs d’activité de larégion.

� L’accessibilité pratique aux personnesde contact potentielles ainsi que leurdisponibilité effective : dernier critèremais pas des moindres,l’échantillonnage s’est poursuivi endéterminant s’il était possible de joindreles personnes adéquates et si cesdernières étaient bel et biendisponibles.

L’étude a été menée de février àseptembre 2005 dans les trois régionsretenues à cet effet. Au total,179 entretiens ont été réalisés avec desresponsables d’entreprise ainsi qu’ungroupe cible plus large de partiesprenantes importantes (formateurs, agentsde l’administration publique, représentantsdu monde de l’industrie et des associationsd’anciens). Les typologies des projetsrepris dans l’échantillon étaient lessuivantes : les initiatives Development ofEducational Links and Professional andHigher Education (Delphi-2), laconsolidation de l’InternationalManagement Institute deSaint-Pétersbourg, le Managers’ TrainingProgramme (MTP)5 et le Presidential

25


4 Les rapports suivants ont été analysés : Presidential Programme Quality of Training – rapport final (1998),Strengthening of the International Management Institute of St Petersburg (1992-95), Productivity InitiativeProgramme (les rapports depuis 1994), Tacis-ETF Evaluation of Activities in the Field of ManagementTraining in the New Independent States (1991-93), President’s Management Training Programme MainFindings (1997), The Translation of Human Capital through Capital Networks: a Case Study of ManagementTraining in a Transitional Economy (2002), Rise and Influence of Alumni Associations in the Context of thePresident’s Management Training Programme (2002), Assessing Management Training Needs, Moscow andUral Regions, Russian Federation (1998), Ten Year Review of the Yeltsin Democracy Fellowship Programme(1993-2003), Specifics and Dynamics of Russian Business Education (1992), Post-Acquisition ManagerialLearning in Central East Europe: Special Issue on Managerial Learning in the Transformation of EasternEurope (1996), ICM Management Training in Russia: Traps and Gaps (1992), International LabourOrganisation Interdepartmental Action Programme on Privatisation, Restructuring and Economic Democracy:Management Development in Russia (1997).

5 Pour des informations relatives au Managers’ Training Programme, rendez-vous sur le sitewww.tacis-mtp.org/documents/english/english.htm?x=about_mtp.htm.

Managers’ Training Programme (PMTP)qui y est lié, l’initiative Productivity, unprojet européen commun relevant duprogramme Tempus, le Tacis EnterpriseRestructuring Facility (TERF-II), tousfinancés dans le cadre du programmeTacis, ainsi que le projet Management andFinancial Training financé par la Banquemondiale. L’échantillon était représentatifen termes de secteurs d’activité et de tailledes entreprises retenues.

2.5 RÉSULTATS ETCONCLUSIONS

Dans cette section, les résultats issus del’étude d’évaluation d’impact sontprésentés selon les trois niveauxanalytiques utilisés lors de la collecte desdonnées : l’individu, l’entreprise etl’environnement. Les principalesrecommandations formulées à l’intentiondes responsables politiques russes, auxéchelons national et local, et des bailleursde fonds étrangers sont égalementrésumées.

2.5.1 IMPACT AU NIVEAUINDIVIDUEL

C’est à ce niveau que les personnessondées ont situé les résultats les plusimportants et les plus durables de laformation. Leurs propos évoquent unensemble d’effets concrets et symboliques,à la fois fort diversifié et structuré.

Dans une société où jusqu’à toutrécemment, le concept de responsabilitérelevait du domaine collectif, laresponsabilité individuelle a procuré auxpersonnes le sentiment de prendre part àdes processus de prise de décisionorganisationnelle et d’être réellementimpliquées dans ces derniers.

«Les participants ont commencé àcerner leur rôle et leurs responsabilitésdans cette situation nouvelle. Chacunétait invité à exprimer son opinion quantà la stratégie de l’entreprise en matièred’évolution future. L’écoutesystématique de l’opinion d’autrui, y

compris des idées qui semblaientétranges de prime abord, est devenuenotre credo. Il s’agissait là de notretoute première tentative de mise surpied d’une équipe de co-directeurs.»

À l’instar de la disparition des craintesrelatives au monde occidental, lacoopération a permis d’éliminer unebarrière mentale. Elle a également amenéles intervenants à coopérer et à faire desaffaires ensemble.

«Je dirais que notre mentalité a évolué.Nous ne craignons plus de coopéreravec des entreprises occidentales. Demanière générale, il s’agit là d’uneavancée positive. Désormais, nous lesconnaissons. Nous avons davantageconfiance et sommes à présent despartenaires.»

«Selon moi, la formation a aidé bonnombre de personnes, moi compris, àlever la barrière psychologique quinous empêchait de contacter despersonnes à l’étranger à des fins decoopération.»

Les entreprises et les responsablesoccidentaux devaient être convaincus – etils le furent – que leurs homologues russesétaient des interlocuteurs de qualité et qu’ilvalait la peine d’être en relation et de traiteravec eux.

«Durant la formation en entreprise dansle pays hôte, nos interlocuteurs se sontparfois montrés arrogants. Au début,lorsque je posais une question, jesentais qu’ils essayaient de faireétalage de leur supériorité. Mais àl’issue d’une réunion avec la direction,nous aussi avons pu montrer nosconnaissances et notre expérience etnous avons expliqué que nousconnaissions déjà tout ce qu’ils nousenseignaient. Les questions que j’aiposées les ont convaincus de nousprésenter des spécialistes compétents.C’est seulement à partir de ce momentqu’ils ont commencé à nous prendre ausérieux, à communiquer avec nous, ànous demander notre opinion et àtâcher de résoudre des problèmes avecnous.»

26


Les évolutions de carrière semblent avoirconstitué le principal avantage procuré parla formation. Qu’il s’agisse d’une évolutionen interne passant par l’accession à unefonction supérieure ou par l’acquisition deresponsabilités majeures au sein d’unefonction donnée, ou d’une évolutionpassant par la mobilité externe.

«En ce qui me concerne, le programmem’a incontestablement beaucoup aidé.J’ai démarré en tant que responsabled’un petit département et suis à présentle directeur financier de l’entreprise. Dela personne qui recevait des ordres, j’aiévolué vers un poste dans lequel c’estmoi qui prends les décisions.»

Pour ce qui est de la mobilité, lesobservations quantitatives viennentconfirmer que la formation a eu un effetpositif sur l’évolution de la carrière : 50,8%des participants ont vécu une expériencede mobilité interne ou externe à l’issue dela formation. La mobilité interne s’estprincipalement manifestée au sein de lamême division ou du même département.La mobilité externe a constitué uneévolution importante pour quelque 33,3%des participants à la formation, lesprincipales causes de mobilité externeétant de nouvelles perspectivesprometteuses (23,6%) et l’impossibilité demettre en pratique les connaissances,l’expérience et les plans de développement(12%).

Les effets de la formation se sontessentiellement manifestés au niveauindividuel pour les raisons suivantes :

� les programmes avaient principalementtrait à la gestion au sens large et étaientdavantage axés sur l’acquisition dequalités de gestionnaire que decompétences précises ;

� la motivation à prendre part à laformation était essentiellementindividuelle et liée à la volontéd’améliorer ses compétences etaptitudes à la gestion, ainsi qu’àpérenniser l’emploi au sein de sonentreprise comme en dehors decelle-ci ;

� un modèle de formation précis et unenorme commune étaient de mise, à

savoir le MBA (master in businessadministration) – le rêve absolu de toutcadre russe à haut potentiel – et ilrelevait d’un choix strictementindividuel ;

� par rapport à la formation classiqueantérieure, cette formation en entreprisea été perçue comme une expériencepertinente et éminemment individuelle,tout particulièrement dans le cadre duprogramme Tacis de formation desmanagers ;

� la priorité des bailleurs de fonds étaitd’améliorer les aptitudes individuellesdes participants comme point de départ.

La relation asymétrique entre les individuset l’entreprise a été mise en exergue pard’autres facteurs :

� une attitude opportuniste des individusà la perspective d’avantages nonnégligeables venant s’ajouter auxopportunités de carrière et de mobilitéprofessionnelle ;

� le mode de gestion autoritaire prévalantdans bon nombre d’entreprises russes ;

� le fossé immense entre ce que lesparticipants auraient aimé faire (entermes de changements) et ce que lecontexte leur permettait de faire ;

� le manque de connaissance de lalangue anglaise et la crainte dessupérieurs de perdre des collaborateursformés ont freiné la participation desentreprises.

Ce n’est qu’ultérieurement, lorsque cetteexpérience de formation s’est répétée, queles participants ont commencé à servird’intermédiaires entre les deux contextes.D’une certaine façon, la formation entaméepour faire évoluer à la fois les individus etl’entreprise a fini par accentuer le fossé quiles séparait déjà.

2.5.2 IMPACT AU NIVEAU DEL’ENTREPRISE

Le principal impact au niveau del’entreprise s’est fait ressentir dans deuxdomaines précis. Tout d’abord, au niveaudes ressources humaines et de la gestiondu personnel ; dans certains cas, laformation a porté à la mise sur pied d’un

27


département dédié et à la désignation d’unresponsable et dans d’autres, la formationa complexifié les systèmes et outilsadoptés et a renforcé les compétences desresponsables. Ensuite, au niveau dumarketing et des ventes ; la conception denouvelles politiques commerciales aimpliqué la mise sur pied au sein del’entreprise de structures et de processusspécifiques.

On a aussi observé l’avènement d’uneentreprise de la connaissance, et ce sousplusieurs facettes. Par exemple, uncollaborateur endosse la responsabilité duprocessus de formation (il s’agit parfois duchef d’entreprise/dirigeant dès lors qu’ilprend conscience du fait que la formationest synonyme d’atout stratégique). Tousles cadres, et particulièrement lesmanagers en première ligne qui rendentcompte à la direction générale, croient enla pertinence de la formation. Ils y sontouverts et soutiennent activement ledéploiement des activités de formation (endésignant des candidats à la formation, enappuyant l’utilisation des nouvellescompétences dans l’activité quotidienne,etc.).

«L’attitude de notre direction a étévitale. Elle était disposée à acceptertoute proposition synonyme d’innovationet a soutenu le processus de manièreextrêmement efficace. À l’issue de laformation, les collaborateurs ontorganisé des réunions permettantl’échange de leurs nouvellesconnaissances avec l’ensemble deleurs collègues. À l’occasion de cesréunions, ils ont également tentéd’établir des plans d’action.»

Grâce à la formation, un grand nombre decollaborateurs de l’entreprise se sont mis àparler le même langage. C’est un outil trèsefficace en termes de communication, decoordination et d’intégration de structureset de fonctions différentes au sein del’entreprise.

«Désormais, lorsque je parle de seuil derentabilité, tout le monde sait ce dont ils’agit!»

Cela confère à l’entreprise la possibilité des’ouvrir sur le monde et d’avoir accès auxmarchés étrangers en particulier, ainsiqu’aux milieux professionnels en dehors del’entreprise.

En général, les effets au niveau del’entreprise semblent davantage sujets àcontroverse. Les effets récurrents sont bienmoindres qu’au niveau individuel et lasituation est plus floue. Ces résultatspeuvent s’expliquer si l’on tient compte dela dynamique et des facteurs détaillésci-après.

� Les préférences individuelles marquéesdécrites ci-dessus ont favorisél’établissement d’autres priorités, parfoisdifférentes de celles exprimées parl’entreprise.

� La formation n’était pas liée auxprocessus de développement envigueur au sein de l’entreprise. Lesentretiens ont fréquemment mis enlumière un manque de corrélation entrela formation et les besoins del’entreprise. Comme nous l’avons déjàévoqué, certains des effets de laformation au niveau de l’entreprise sontapparus uniquement lorsque le contenude la formation s’est ancré dans lapratique, même si cela n’a pas toujoursété le cas. Dans l’ensemble, le premiervolet de la formation a permis declarifier la situation, tandis que lesecond a permis aux participantsd’établir un lien entre la formation et unetâche précise. En bref, la formation n’aeu des effets ciblés au niveau del’entreprise qu’après la définition dumodèle économique et des priorités del’entreprise. Dans les cas qui nousoccupent, cette prise de conscience estintervenue graduellement. Elle a étéinterrompue par la crise politique de1998 et depuis lors, elle s’est poursuiviepar étapes, même s’il est ardu de définirtotalement ces dernières.

� Les résultats indiquent que, saufexception, le nombre de participants parentreprise a été systématiquement trèsfaible. Il est dès lors peu aisé d’établirune relation de cause à effet entre laformation, le travail et les performancesde l’entreprise. Les résultats se sontavérés tangibles en cas de participation

28


à la formation régulière et rattachée àune tâche précise avec un objectif clair.

� Dans certains cas, on a relevé uneadhésion formelle à des procédures degestion pas forcément liées auxobjectifs concrets de l’entreprise. Lavolonté était de faire étalage del’apprentissage et de donner l’imaged’une entreprise innovante et conformeaux critères occidentaux.

2.5.3 IMPACT AU NIVEAULOCAL

Au niveau local, la formation a favorisél’apparition d’un noyau de développementlocal associé à une série de facteursémergents constitutifs d’un réseau socialcomme :

� un langage commun servant de moyende communication et d’intégration vital àl’échelon local ainsi qu’avec les paysétrangers ;

� une sensibilisation et des compétencesaccrues en matière de gestion etd’esprit d’entreprise ;

� un centrage sur le capital intellectuel etsocial ;

� la création de liens entre lesparticipants, de façon à la fois formelle(anciens étudiants) et informelle(relations personnelles) ;

� l’avènement d’un marché du travailhautement qualifié pour les cadres.

«Quels que soient mes besoins(recruter de nouveaux collaborateurs,entrer en contact avec des partenairesétrangers, aborder un nouveau marchéou simplement échanger des points devue et bénéficier de conseils), je saisque je peux m’appuyer sur lespersonnes issues du programme deformation [...]. On les retrouve dans tousles secteurs d’activité, dans tous lesdomaines de gestion et partout enRussie.»

«Des milliers de personnes ont suividivers programmes de formation,acquérant de nouvelles compétences etune nouvelle mentalité, établissant descontacts avec des entreprises et desressortissants étrangers et

appréhendant une culture économiquenouvelle [...]. Elles constituent notrecapital humain et social, notre garantiepour le futur développement social etéconomique de notre région.»

Naturellement, certains aspects doiventencore être encouragés et consolidés :l’adéquation entre les capacités duformateur et les besoins réels desentreprises, le dialogue entre les secteurspublic et privé ou encore la capacité dusystème bancaire à soutenir ledéveloppement des entreprises.

Néanmoins, il ressort déjà clairement queles programmes de formation ont contribuéà l’émergence d’une nouvelle catégoriesociale, à savoir le «nouveau managerrusse», ainsi que de langages,d’approches et d’expériences communes.Cette nouvelle entité a des desiderata etdes objectifs qui lui sont propres et nepeuvent être négligés à l’heure de définirles priorités et le nouveau cadreinstitutionnel de la société civile russe. Cesnouveaux managers partagent les mêmesvaleurs. Aux yeux des partenairesétrangers potentiels, ils constituent lapreuve que la Russie offre un contextepropice aux affaires.

En réalité, la formation a fortementcontribué à la création d’une nouvelleimage des cadres et des entreprisesrusses aux yeux des partenaires étrangerspotentiels.

«Selon moi, l’objectif ultime de tellesinitiatives est de mettre la ‘menacerusse’ au diapason du modèleoccidental, pour ainsi dire,d’occidentaliser les Russes et dès lors,de faire en sorte que leurs actes soientplus prévisibles. Dans l’ensemble,j’adhère à cet objectif général, carseules les vraies gens peuvent modifierla perception qu’ont de nous lesétrangers, ce dont les hommespolitiques sont incapables. J’ajouteraique ces programmes forment unemicro-génération intangible dedécideurs nouvelle mouture, qui à leurtour contribuent largement à faireévoluer les idées reçues. J’estime qu’ilest également possible d’atteindre

29


l’objectif ultime en plaçant l’être humainau cœur de toute activité économique,politique ou sociale, comme enOccident. Je pense qu’il s’agit là de lavoie à suivre pour notre pays : accorderde la valeur à chaque individu et placertous les citoyens sur un pied d’égalité.»

Les effets de la formation sur lesinvestissements directs en provenance del’étranger ont été positifs.Indiscutablement, elle a aidé lesinvestisseurs étrangers à surmonter lesidées reçues relatives aux entreprisesrusses et a contribué à la création d’unenvironnement propice à l’accueil desinvestisseurs étrangers.

2.5.4 VUE D’ENSEMBLE

Pour conclure, nous fournissons unesynthèse des principaux résultats détaillésdans le présent chapitre selon le cadreanalytique de l’étude d’évaluation d’impact(cf. le modèle théorique, p. 22).

Dans l’ensemble, le schéma d’analyse deseffets (escomptés/inattendus etsubstantiels/symboliques) qui a inspiré ladéfinition des hypothèses comme le travaild’investigation sur le terrain, a prouvé sonefficacité. Il a permis l’identification denombreux effets inattendus etsymboliques. Ceux-ci constituent une partsignificative des effets générés par laformation, en plus des effets substantielsescomptés faisant partie des objectifsmêmes du programme.

Les effets inattendus peuvent se résumercomme suit :

� une compréhension individuelle desresponsabilités ;

� un langage commun en matière degestion et d’activité, faisant office demoyen de communication à l’échelonlocal comme avec les partenairesinternationaux ;

� une adaptation partielle aux normes dumarché européen afin de soutenir ledéveloppement économique ;

� une formation jouant un rôled’incubateur économique trèsefficace ;

� un taux élevé de mobilité externe sur lemarché du travail ;

� un rétrécissement du marché du travailtechnique ;

� la réceptivité des entreprises vis-à-visde la formation, notamment en termesde conception de structures, de rôleset de plans de formation au sein desentreprises ;

� la conversion des apprenants enformateurs des autres managers de larégion, sur une base volontaire (effetmultiplicateur) ;

� la constitution d’un réseau social,fondement vital des évolutionsultérieures ;

� une nouvelle catégorie sociale : lemanager russe.

Parallèlement, des effets symboliquesmajeurs se sont manifestés :

� la confiance en soi et la chute desbarrières culturelles qui avaient entraînéun complexe d’infériorité et une craintevis-à-vis des entreprises et desdirigeants occidentaux ;

� un centrage sur la formation individuelletout au long de la vie ;

� une entreprise de la connaissance (entermes de prise de consciencegénéralisée de la nécessité de laformation) ;

� une vision positive de la formation etdes individus enclins à la considérercomme l’une des raisons principales del’amélioration des performancesfinancières et commerciales del’entreprise ;

� la perception que la formation acontribué à la définition d’une nouvelleimage des managers et entreprisesrusses (en tant qu’intervenants fiables,compétents et responsables) ainsi quede l’environnement économique (fiable,plus attrayant et plus sûr que dans unpassé récent) aux yeux desinvestisseurs et des partenairesétrangers.

30


2.6 ENSEIGNEMENTS TIRÉSET RECOMMANDATIONSPOUR LES POLITIQUES ÀVENIR

Les résultats et les principales conclusionsde l’étude d’évaluation d’impact mettent enévidence certains enseignements. Ceux-cipourront servir de point de départ à laréflexion relative aux activités et auxpolitiques à venir, tant dans le contextespécifique de la Fédération de Russie que,de manière plus générale, dans leséconomies de transition.

Les principaux enseignements relatifs auxpolitiques de formation au management età leur conception pour les économies detransition sont présentés ci-dessous.

� Les programmes de formation conçus àl’aide de pratiques et d’outils de gestionoccidentaux sont généralement bienaccueillis. Ils ne donnent lieu ni à desdébats relatifs aux priorités dedéveloppement qui sous-tendent lespratiques ni à une analyse de leurcompatibilité avec les cultures locales.

� Les politiques de formation font partied’un système de développement localélargi, au sein duquel la cohérence etl’efficacité des politiques sont fonctiond’un processus de dialogue permanentet d’ajustements mutuels aux politiquessectorielles.

� La formation peut contribuer à lacréation et au développementd’identités individuelles etprofessionnelles. Elle est à même defavoriser l’avènement de communautésprofessionnelles et économiques (denouvelles catégories sociales)différentes des schémas traditionnels.

� Les participants sont davantagesusceptibles d’attacher une plus grandeimportance à la signification symboliquede l’événement auquel ils participent etd’en accroître la dimension émotionnelle.Il en va particulièrement ainsi lorsque ladéfinition des objectifs est moinsconcrète comme c’est le cas avecl’acquisition d’aptitudes à la gestion.

� Il est possible d’établir une corrélationdirecte entre la formation et ledémarrage d’une nouvelle activitééconomique. La formation permet auxparticipants d’améliorer leur conscience

de soi et de développer des liens et desoutils afin de devenir entrepreneurs.

� La formation aide à faire face auxdivergences culturelles et à dépasserles idées reçues. Elle constitue en outrel’une des solutions fondamentalespermettant l’accès à la société et aumarché mondialisés.

� Il existe un lien direct entre le potentielévoqué par une formation et l’influencedont disposent les participants au seinde leur entreprise. En d’autres termes,leur impact sur l’entreprise ne semanifeste que lorsque les décideurssont impliqués et qu’un nombresuffisant de participants s’est constituéau sein de l’entreprise.

� Les formations qui ne correspondentpas aux priorités de l’entreprise dansson processus de croissance courent lerisque de générer des structuresexcédentaires, au détriment de laflexibilité et de la compétitivité.

� En matière de formation, les adultespréfèrent les méthodes actives,reposant sur l’expérience pratique desparticipants. La conception des coursdoit impérativement laisser davantagede plages horaires dédiées à laformation en entreprise et àl’accompagnement individuel, plutôtqu’à l’approche traditionnelle deformation unidirectionnelle.

L’expérience des économies développéeslaisse à penser que la transformationprofonde de la culture et des modes degestion n’est ni simple ni rapide. À cet égard,la nécessité d’obtenir un nombre suffisant departicipants se manifeste tant au niveau del’entreprise qu’à celui du monde des affairesdans son ensemble. De manière générale,une transition réussie vers une économie demarché implique qu’un grand nombred’individus acquièrent des compétencestotalement neuves dans les domaines de lagestion, de la finance et du commerce.

Nous recommandons de poursuivredans cette voie, en impliquant lesrégions, les entreprises et les individusn’ayant pas encore participé auxprécédentes éditions de la formation. Àl’heure actuelle, la formule préconiséea prouvé qu’elle était efficace et qu’elledevait se poursuivre.

31


Deux domaines sont perfectiblescependant :

1. une sélection précise de l’entreprisehôte selon le type de formation et lesbesoins ;

2. une formation en langue anglaise plusintensive avant le programme ou audébut de celui-ci.

La forte augmentation du nombre deformations à l’intention des cadresd’entreprise a également entraînéquelques effets négatifs. En effet, cettenouvelle catégorie de travailleursémergente entraîne l’appauvrissement duréservoir de main-d’œuvre technique etune pénurie de compétences techniques.Les fonctions techniques ne font plusrecette auprès des jeunes générations, carelles sont perçues comme éloignées descontingences sociales émergentes. Cenonobstant, la longue tradition russe detechniciens hautement qualifiés est fortappréciée par les entreprises étrangèresqui entendent réaliser des investissementsdirects et/ou établir des partenariats avecdes homologues russes.

Nous recommandons de soutenir laformation technique aux différentséchelons du système éducatif, en luiadjoignant des volets économique etfinancier, ainsi qu’en assurant lapromotion par voie de campagnes decommunication systématiques.

La politique de formation est issue d’unprocessus de négociation au sein duquelinteragissent les schémas cognitifs, lesvaleurs privilégiées, les obligationstechniques ainsi que des intérêtsdivergents et des visions différentes de laréalité. Le produit de ce processus n’estpas l’œuvre d’un agencement unique, maisbien une représentation communepartagée découlant de négociations et decommunication entre les divers acteurs etparties prenantes.

Nous recommandons d’activer desgroupes de travail au sein desquels lesdécideurs du secteur de la formation etdu secteur industriel (aux échelonsfédéral, régional et local) négocient etdéfinissent conjointement desstratégies de développement et desplans d’action cohérents. En outre, lesdécideurs russes et les bailleurs defonds internationaux doiventhiérarchiser les domaines et lesbénéficiaires des initiatives à venir.

Les principaux bénéficiaires inopinés de laformation ont été les suivants :

� les micro-entreprises et lesentrepreneurs indépendants : à l’issuede la formation, le nombre de nouvellesentreprises dans les secteurs ducommerce et des services s’est accrude manière considérable – entreprisescréées pour l’essentiel par despersonnes provenant d’entreprises detaille moyenne et de grandesentreprises ;

� les grandes entreprises : la formationindividuelle a permis aux participants dechanger d’emploi et d’entrer au servicede grandes entreprises où, selon eux,les fonctions de supervision, lescarrières offertes et la rémunérationcorrespondaient davantage auxobjectifs qui les avaient amenés àsuivre cette formation.

Dans ce cadre, ces activités ont parfoisexclu les PME qui ont dû faire face à latransition en solo.

Nous recommandons que desformations ultérieures s’adressent àcette catégorie d’entreprises, car ellesconstituent le lien entre le contexteéconomique général et lescommunautés locales. De même, ellesreprésentent la majeure partie dugisement d’emplois potentiels del’économie russe.

32


Ce choix devra tenir compte de deuxéléments essentiels – les grappesd’entreprises (clusters) et les normesinternationales – qui constituent la forcemotrice pour laquelle les différentsintervenants (décideurs nationaux,bailleurs de fonds internationaux,formateurs et entreprises) sont appelés àredéfinir les futurs programmes deformation.

Grappes d’entreprises

Les projets devraient être étroitement liésaux tendances observées dans le secteurindustriel ainsi qu’au sein de la grapped’entreprises. Avec la mondialisation et lacomplexité des marchés, l’attention seporte désormais sur les réseauxd’entreprises et non plus sur lesentreprises prises isolément. Au sein d’unréseau, le développement de chaqueentreprise est intimement mêlé à latendance dominante au sein de la grappedont elle fait partie. L’innovation prend piedau niveau de la grappe d’entreprises avec,en règle générale, l’entreprise innovantequi évalue et comble les besoins – pourl’essentiel, des pratiques de gestion àadopter afin d’améliorer l’intégration,auxquelles les autres entreprises de lagrappe doivent se conformer. À cet égard,l’adoption de ces pratiques dépend du rôleet de la position de l’entreprise au sein dela chaîne de valeur. En d’autres termes,l’analyse des besoins doit davantagereposer sur une étude de la grapped’entreprises que sur les besoins d’uneentreprise en particulier.

Cette approche peut permettre de définirdes politiques précises à l’échelonrégional, là où les professions les pluscourantes et les particularités régionalesdoivent suivre l’évolution de la grapped’entreprises et le mouvement derenforcement du secteur des PME.

Normes internationales

Les programmes de formation à venirdevront illustrer le processus qu’observentles entreprises russes afin de s’aligner surles normes préconisées à l’échelleinternationale. De même, ils devrontidentifier les lacunes à combler.

De nouveaux domaines de formation quine faisaient pas partie des programmesantérieurs sortent du lot. Citons notammentla gouvernance d’entreprise, l’innovation,l’écologie, les enjeux de l’Organisationmondiale du commerce, lesréglementations internationales et lamondialisation.

Les premières formations avaient étéconçues selon un canevas tout à faitclassique, voire universel, en termesd’objectifs, de contenu et de méthodologied’apprentissage. Malgré cela, ellesrépondaient aux priorités de l’époque enmatière de formation. À présent, il s’avèrede plus en plus nécessaire que lesprogrammes de formation répondent auxbesoins réels des entreprises.

Nous recommandons d’évaluer lescompétences des formateurs et demettre au point des programmes deformation des formateurs.

L’élaboration des futurs programmes deformation au management devrait intégrerles deux lignes directrices suivantes : lestade d’évolution de l’entreprise, d’unepart, et la conception et la méthodologie dela formation, d’autre part.

Stade d’évolution de l’entreprise

En termes de besoins, les programmes deformation et les processus dedéveloppement doivent correspondre austade d’évolution de l’entreprise. Toutprocessus de formation doit être précédéd’une analyse des besoins précis, visant àétablir l’ensemble des compétences et despratiques à développer et à illustrer lestade d’évolution précis de l’entreprise.

Conception et méthodologie de laformation

Le besoin accru de formation en entreprisenécessite l’adoption d’une approcheformation et conseil en interne, étroitementliée au processus de développement del’entreprise et garantissant l’implicationmaximale des cadres intermédiaires etsupérieurs.

33


Le besoin de passer à un type de formationoù l’apprentissage repose sur l’échanged’expériences entre participants impliquel’adoption de différentes méthodologies :

� l’accompagnement et le mentorat auniveau individuel ;

� le travail en projet et l’apprentissageactif au sein d’un contexteprofessionnel ;

� la formation en ligne afin d’améliorerl’interaction entre participants et depromouvoir les communautésd’apprentissage.

34


3. LA PERSPECTIVEMAROCAINE : ÉTUDE DE CASD’UNE APPROCHEQUANTITATIVE

AVANT-PROPOS DESAUTORITÉS MAROCAINES

La mise à niveau des ressourceshumaines constitue la meilleureprotection, tant pour les entreprises quepour les salariés, contre les aléaséconomiques. Les évolutions du marchéet des technologies exigent en effet desrestructurations et des adaptationscontinues de l’organisation et des outilsde production des entreprises.

C’est dans ce contexte que les pouvoirspublics ont engagé depuis 1996, deconcert avec les partenaires sociaux, uneprofonde réforme s’appuyant sur lesgroupements interprofessionnels d’aideau conseil (GIAC) et les contrats spéciauxde formation (CSF) qui visent àencourager les entreprises à intégrer laformation continue de leurs ressourceshumaines en tant qu’élément essentiel deréussite de leurs plans dedéveloppement.

Il est unanimement reconnu que lescompétences acquises lors d’une formationprofessionnelle entraînent une augmentationde la productivité des bénéficiaires et unevaleur ajoutée pour les entreprises.Néanmoins, l’évaluation précise de l’impactdes projets de formation reposant sur uneinformation correcte, pertinente et produitedans des délais et avec des coûtsraisonnables, est primordiale pour juger del’efficacité et de l’efficience des mécanismesmis en place. Une telle évaluation permetégalement de se prononcer sur l’améliorationà apporter dans la conception des projets etde formuler les programmes futurs demanière appropriée.

Le projet de recherche action réalisé avecle concours de l’ETF a parfaitementrépondu à cet objectif. Il a permis en outreaux ressources humaines marocaines dese familiariser avec les méthodologiesutilisées dans ce type de recherche. Laspécificité du projet réside également dansson pilotage par un comité scientifique

35

3

constitué d’experts européens etmaghrébins (Maroc, Algérie et Tunisie),chargé d’établir la méthodologie de travailet d’examiner et de valider toutes lesétapes d’exécution.

Ce travail a d’abord permis de démontrerde manière scientifique l’impact positif dela formation sur la compétitivité desentreprises. Il a ensuite fourni l’occasion demieux connaître nos systèmesd’informations micro etmacroéconomiques, d’établir uneméthodologie transposable dans d’autrespays de la région et, enfin, de familiariserles acteurs marocains avec les outils,techniques et méthodes d’analyse del’impact de la formation.

Les enseignements que l’on peut tirer del’expérience sur le plan de la mise enœuvre, sont de trois types : (i) l’importancedu choix de l’équipe opérationnelle qui n’apas toujours été au niveau souhaité et surlaquelle repose en grande partie la réussited’actions futures similaires ; (ii) laconnaissance des systèmes d’informationsdu pays considéré car leur défaillanceconstitue une contrainte majeure et unobstacle pouvant devenir insurmontable ;et (iii) le choix de l’équipe locale qui doitprésenter les caractéristiques nécessairesau préalable pour un transfert decompétences réussi.

Cette section résume les principauxrésultats d’une étude menée par l’ETF,conjointement avec le secrétariat d’État àla Formation professionnelle du Maroc, quivisait à évaluer les mesures publiques deformation mises en œuvre dans lesentreprises marocaines. Cette étude s’estinscrite dans une stratégie d’ensemble demodernisation de l’économie marocainecentrée notamment sur la promotion demesures actives visant à accroître laproductivité et la compétitivité desentreprises. Parmi ces mesures, deuxinstruments introduits en 1996 méritent uneattention particulière : les CSF et les GIAC.Financés par l’intermédiaire d’une taxe de1,6% de la masse salariale des entreprisesassujetties, ces instruments entendaient enparticulier inciter les entreprises à intégrer

la formation dans leurs plans dedéveloppement.

Si les résultats attendus visaient avant toutla mesure micro-économique de l’impact dela formation continue sur les performancesdes entreprises marocaines et lescompétences de leurs salariés, l’étudedevait également offrir l’opportunité deformer une équipe marocaine à l’évaluationde l’impact de la formation continue etd’assurer les conditions d’un transfert deméthodologie vers l’Algérie et la Tunisie.

Outre l’intérêt évident d’un tel projet pourles décideurs des politiques de formationau Maroc, il faut relever son caractèreinnovateur, tant du point de vue scientifiquequ’organisationnel. En effet, rares sont lesétudes de mesure d’impact de la formationprofessionnelle dans le monde, et lestentatives développées au Maroc n’avaientpas jusque là été couronnées de succès.En ce qui concerne l’organisation, il fautrelever les synergies mises en œuvre entreles experts et les fonctionnaires chargés dela politique de formation.

Cette étude ne s’est pas déroulée sansdifficultés – le contraire eut été étonnant –mais la ténacité des différentes parties apermis de les aplanir et d’aboutir à desrésultats utiles, tant du point de vue politiqueque scientifique. Le résultat le plus importanta été la mise en évidence de l’effet positif durecours aux CSF sur le résultat desentreprises, et en particulier des entreprisesqui en font un outil intégré dans une véritablepolitique de développement. Les cas les plusfavorables ont été observés dans lesentreprises ayant combiné la modernisationdes équipements, la conquête de nouveauxmarchés, une stratégie de ressourceshumaines et la formation. À l’inverse, lesentreprises intéressées aux seuls avantagesfinanciers n’ont pas réussi à bénéficier d’untel impact positif.

Khalid AlaouiDirecteur de la formation en milieu

professionnelDépartement marocain de la formation

professionnelle2007

36


3.1 CONTEXTE DE L’ÉTUDE

Le projet faisait suite à une requêted’assistance émanant du secrétariat d’Étatà la Formation professionnelle du Maroc,introduite auprès de l’ETF en début 2003,portant sur l’élaboration d’un instrumentd’analyse et de mesure de l’impact de lapolitique publique de soutien audéveloppement des ressources humainesdes entreprises marocaines. Cette requêtes’inscrivait dans un contexte plus large demise en œuvre d’une stratégie globale dedéveloppement de l’économie marocaine,le secteur privé notamment, suite à laconclusion d’un accord d’association avecl’Union européenne prévoyant la mise enplace à moyen terme d’une zone delibre-échange euro-méditerranéenne et auxaccords de libre-échange signés par leMaroc avec les États-Unis et certains paysarabes et méditerranéens. Cette stratégiedevait préparer l’environnement marocainà la mondialisation de l’économie et deséchanges, et les entreprises marocaines àl’ouverture du marché national à laconcurrence internationale.

Le processus de mise à niveau engagévisait en premier lieu le secteur de laformation professionnelle, en tant queproducteur de compétences, à travers sesdispositifs de formation professionnelleinitiale et continue, et plus particulièrementles mécanismes de développement de laformation continue – dite formation encours d’emploi – mis en place en 1996avec le concours de la Banque mondiale,dans le cadre de l’appui au développementdu secteur privé.

Le défi à relever consistait à intégrerl’économie marocaine dans la dynamiquemondiale de la compétitivité et mettre àniveau le tissu économique existant afin decréer les conditions favorables àl’investissement, d’une part, et valoriser lesressources humaines par la formation et lamise à niveau des compétences, d’autrepart.

Conscientes des enjeux de cet importantdéfi, les autorités marocaines ont engagédepuis une dizaine d’années desprocessus de réforme visant à adapter lesystème national de formation

professionnelle initiale et continue, pourqu’il soit à même de répondre aux besoinsdes entreprises. Dans ce contexte, laformation en cours d’emploi est considéréeau Maroc comme un axe important dedéveloppement des qualifications etcompétences des salariés pour leurpermettre de faire face aux évolutions dumarché du travail et pour accompagner lamise à niveau des entreprises.

Le projet appuyé par l’ETF visaitprécisément à mesurer les effets de laformation en cours d’emploi sur lescompétences des salariés, leur productivitéet la compétitivité des entreprises auniveau de trois secteurs (textile, IMME ethôtellerie), à travers deux instruments, àsavoir les CSF et les GIAC. Il convient derappeler que ces instruments ont étéconçus pour inciter les entreprises àintégrer la formation dans leurs plans dedéveloppement, identifier leurs besoins encompétences et définir autant que possibleune stratégie sectorielle, mieux cibler lesinvestissements dans les ressourceshumaines, améliorer la productivité et lacompétitivité des entreprises et enfin,renforcer les relations avec lesassociations professionnelles de branchespour mieux satisfaire leurs besoins encompétences.

Le projet présentait à priori une certainecomplexité eu égard aux objectifsambitieux qu’il se proposait d’atteindre etqui, à l’évidence, nécessitaient le recours àdes outils de recherche axés sur la théoriedu capital humain, dont la fiabilité tire sonessence d’études empiriques, ainsi que lechoix d’un modèle économétriqueapproprié à la problématique posée. Sur leplan pratique, le projet se devait derépondre aux questions posées par lespouvoirs publics marocains quant àl’impact de la formation en cours d’emploiau niveau micro et macro-économique. Ilfaut également noter qu’il existe très peud’études dans ce domaine dont lesrésultats ont été rendus publics. Deuxexercices du même type ont été menés parles autorités marocaines (1997-99 et1999-2004) avec l’appui de bailleurs defonds mais elles n’ont pas abouti à desrésultats réalistes, fait imputé à la faiblessedes bases de données existantes et au

37

3. LA PERSPECTIVE MAROCAINE : ÉTUDE DE CAS D’UNE APPROCHEQUANTITATIVE

choix inapproprié du modèleéconométrique utilisé. C’est pourquoi l’ETFa opté pour un projet recherche action quicombine à la fois les outils de la recherchescientifique et l’exigence de résultatsopérationnels.

Ce projet visait également un autre objectifnon moins important : la formation deshomologues marocains à l’évaluation pourpermettre une réelle appropriation de ladémarche méthodologique utilisée. Cetobjectif constituait un autre défi difficile àrelever dans la mesure où les homologuesà former ne possédaient pas le profilsouhaité pour appréhender le modèleéconométrique retenu.

La présentation du projet et de sesrésultats sera articulée en cinq parties. Lapremière placera les travaux présentésdans le cadre plus large des projets dansles pays du Magheb. La deuxième décrirale déroulement du projet, en insistant surl’organisation institutionnelle et ladémarche méthodologique élaborée. Latroisième traitera plus directement laquestion de l’impact des CSF sur lesperformances des entreprises marocaines,alors que la quatrième s’intéressera àl’impact de la formation sur les trajectoiresprofessionnelles des salariés. La dernièrepartie se focalisera sur lesrecommandations et la question dutransfert.

3.2 TRAVAUX PRÉCÉDENTSDANS LES PAYS DUMAGHREB

Diverses études réalisées dans de grandesentreprises algériennes donnent desinformations sur les budgets consacrés à laformation et sur les chances d’accès à laformation selon le niveau de qualification.Mais on dispose en général de peud’information sur les coûts de la formationen Algérie et celle-ci ne semble pastoujours considérée comme uninvestissement. On relève cependant unintérêt marqué pour les questions relativesà la qualité, une enquête auprèsd’entreprises signalant que l’insuffisancede formation est considérée comme unobstacle à l’évolution du système qualité.

Par ailleurs, il est rare que la formationfasse l’objet d’une réelle évaluation,notamment auprès de ses bénéficiaires.L’étude portant sur un échantillond’anciens stagiaires de l’Institut national dela formation professionnelle sembleconstituer une exception.

Une enquête d’évaluation de la formationcontinue a été conduite en Tunisie en2001. Elle avait les objectifs suivants :

� évaluer et analyser les effets de laformation continue sur les résultats desentreprises et des travailleurs enfonction des différents instruments misen œuvre ;

� analyser les facteurs incitant lesemployeurs à former leurs employésface à la demande de qualificationsengendrée par l’évolution technologiqueet la concurrence internationale ;

� évaluer l’impact des différentsinstruments de formation continue sur lapromotion de la formation continue,notamment parmi les PME ;

� évaluer l’évolution enregistrée enmatière d’efficacité et d’impact de laformation continue entre 1996 et 1998 ;

� proposer des recommandations visant àrationaliser les instruments mis en placepour la promotion de la formationcontinue et à améliorer la qualité desservices offerts par les structurespubliques chargées de la gestion deces instruments.

Conformément au cahier des charges del’étude, un échantillon de 900 entreprises aété retenu à partir de la population desentreprises ayant bénéficié de la formationcontinue. Par ailleurs, un échantillon de300 entreprises n’ayant pas bénéficié de laformation continue en 1998 a étésélectionné à partir de la base de sondagedu répertoire d’entreprises de l’Institutnational de statistique.

Deux types de questionnaires ont étéélaborés, l’un pour l’échantillond’entreprises bénéficiaires et l’autre pourl’échantillon d’entreprises témoins. Lesquestionnaires s’adressaient uniquementaux entreprises, les salariés n’étanttouchés qu’indirectement à travers lesréponses des responsables d’entreprise.

38


Le questionnaire à l’intention desbénéficiaires s’articulait autour de troisvolets essentiels : (i) les caractéristiquesdes entreprises, le nombre de salariésbénéficiaires, etc. ; (ii) l’appréciation del’entreprise vis-à-vis de la formationcontinue et des différentes procéduresliées aux instruments de formationcontinue ; et (iii) les aspects quantitatifscouvrant une période de cinq ans, portantsur les résultats comptables de l’entrepriseet les caractéristiques des salariés.

Les indicateurs de mesure de laperformance des entreprises prévus dansle questionnaire comprenaient notamment :le taux de variation du chiffre d’affaires, letaux de variation de la valeur ajoutée selonle degré de recours à la formationcontinue, le taux d’utilisation des capacitésde production, la productivité apparente ducapital, la valeur ajoutée/capital et la valeurajoutée/masse salariale. D’autresindicateurs concernaient la place del’innovation au sein de l’entreprise etl’impact global de la formation continue surles ressources humaines.

Mais les espoirs placés dans l’enquêten’ont pas tous été couronnés de succès.Les entreprises se sont révélées réticentesà répondre à un questionnaire qu’ellesjugeaient trop long (une dizaine de pages)et les enquêteurs, insuffisamment formés,ont souvent été capables de bien expliquerles questions et de relever les réponsespertinentes. Par ailleurs, dans la mesureoù les questions portaient sur les donnéescomptables de l’entreprise couvrant unepériode de cinq ans et sur la répartition desemployés selon le niveau d’éducation et legrade au sein de l’entreprise, il s’est révélédifficile de collecter les informations auprèsd’un interlocuteur unique (le questionnaireconcernait la direction financière, ladirection générale et le responsable dupersonnel) ; huit relances (par enquêteurou par téléphone) se sont ainsi avéréesnécessaires. Par ailleurs, la plupart desPME sous-traitent la tenue de leurcomptabilité auprès d’un comptableextérieur à l’entreprise ; celui-ci détientl’historique de l’entreprise et, parconséquent, l’information demandée ne setrouve pas nécessairement au sein del’entreprise.

La collecte de données a duré neuf mois.Bien que 800 questionnaires aient étérecueillis sur les 1 200 prévus dans lecahier des charges, de nombreusesinformations n’ont pu être collectées ouexploitées. En conséquence de quoi, lesindicateurs d’impact n’ont pu êtreconstruits.

Nordman (2002) a quant à lui réalisé destravaux de comparaison sur les effets de laformation en entreprise au Maroc et enTunisie ; à partir de deux enquêtes menéesdans des entreprises du secteurmanufacturier des deux pays, il a puapparier les données d’employeurs et desalariés. Les résultats indiquentl’importance majeure que revêt la questiondu décloisonnement des tâches et descompétences dans l’entreprise pour quesoit stimulée la diffusion desconnaissances entre les travailleurs. Lesentreprises tunisiennes semblent plusaptes à offrir aux travailleurs de laformation sur le tas que les entreprisesmarocaines. L’auteur confirme l’importancedes caractéristiques organisationnelles desentreprises (nombre d’échelonsd’encadrement, polyvalence des tâches,équipes) pour stimuler les effets dediffusion du capital humain sur le lieu detravail.

3.3 DÉROULEMENT DUPROJET

Le projet a été initialement conçu commeune véritable recherche action qui devaitarticuler recherche théorique, productionde résultats opérationnels, formation etsensibilisation des acteurs.

3.3.1 ORGANISATIONINSTITUTIONNELLE, ÉTAPESDU PROJET ET ÉCARTSENTRE OBJECTIFS ETRÉALISATIONS

Au niveau politique, un groupe de pilotagereprésentant les bénéficiaires du projet aété constitué. Composé de représentantsdes administrations marocainesconcernées et des partenaires sociaux, ce

39


groupe avait pour fonction d’entériner lespropositions méthodologiques du comitéscientifique, de définir le public cible et lesacteurs à impliquer, de faciliter l’accès auxinformations et de participer à lacomposante formation-action du projet.

Au niveau scientifique, un comitéscientifique comprenant des experts del’Union européenne, du Maroc, de laTunisie et de l’Algérie a été nommé. Lesprincipales tâches de ce comité étaient deréaliser une revue internationale de l’étatde l’art en matière d’évaluation d’impact dela formation continue, de préciser laproblématique et l’objet de la recherche, deconcevoir l’approche méthodologiqueglobale et ses implications économétriqueset de valider la démarche et les résultatsde l’équipe opérationnelle. Une équipeopérationnelle a mis en œuvre laméthodologie élaborée, collecté et vérifiéles informations, réalisé les traitementsstatistiques et économétriques, et présentéles résultats et la formation.

Le projet devait se décliner en quatrevolets. Le premier volet avait pour objectifd’étudier le comportement de l’ensembledes entreprises marocaines en matière deformation continue en utilisant pour lapremière fois de façon conjointe troisensembles de bases de données –provenant du ministère de l’Industrie, duCommerce et des nouvellesTechnologies (MICT), de la Caissenationale de sécurité sociale (CNSS) et del’Office de la formation professionnelle etde la promotion du travail (OFPPT). Un teltravail devait permettre d’obtenir une visiond’ensemble de l’impact de la formationcontinue sur les performances desentreprises marocaines. Le deuxième voletdevait étudier plus finement lecomportement des entreprises, en réalisantune enquête auprès d’entreprisesformatrices et non formatrices sur leurstratégie d’ensemble et la place qu’yoccupe la formation. Le troisième voletdéplaçait l’objet de l’étude sur les salariés.À partir d’une enquête spécifique, lessalariés devaient expliciter les conditionsde leur participation ou de leur manque departicipation aux actions de formationcontinue, et les éventuelles conséquences

de ces actions sur leurs compétences, leurproductivité et leur trajectoireprofessionnelle. Enfin, un quatrième voletvisait à développer une véritable démarched’évaluation des actions de formation parles entreprises elles-mêmes, en lesaccompagnant dès la mise en placed’actions jusqu’à la mesure de l’impact deces actions au niveau correspondant.

Les écarts observés entre les objectifs etles réalisations du projet concernaient à lafois la population enquêtée, les donnéesutilisées et l’étendue du projet. En effet,alors qu’initialement l’étude devait portersur les entreprises du textile/habillement/cuir et du tourisme, les carences desdonnées relatives au secteur tertiaire ontconduit à privilégier les entreprisesindustrielles.

Quant aux données utilisées, des raisonsde confidentialité statistique ont empêchéle recours aux bases de données de laCaisse nationale de sécurité sociale quisont les seules à regrouper des donnéesindividuelles de salariés. En outre,l’absence d’un identifiant uniqued’entreprise au sein des différentes basesde données a rendu obligatoire unappariement manuel, opération longue etdélicate.

Si l’étude a permis de mieux cerner lespossibilités d’utilisation des bases dedonnées et les perspectives d’amélioration,et d’identifier l’impact du recours à laformation continue sur les performancesdes entreprises, elle n’a cependant pasatteint l’ensemble de ses objectifs. Enparticulier, l’ambition de mener desenquêtes auprès des salariés n’a pu êtretotalement réalisée (246 enquêtesréalisées contre 800 prévues). Unepremière phase test d’enquête auprès de40 entreprises a révélé les obstacles queles chefs d’entreprise ou les directeurs desressources humaines opposaient auxenquêtes auprès des salariés. Cela aconduit l’équipe opérationnelle à neréaliser ces enquêtes qu’en un deuxièmetemps, au sein des entreprises quin’avaient pas manifesté d’opposition àcette démarche au cours de l’enquête«entreprises».

40


De même, la phase d’accompagnementdes politiques de formation des entreprisesn’a pu être qu’esquissée.

3.3.2 DÉMARCHEMÉTHODOLOGIQUE

La démarche s’est tout d’abord appuyéesur un lourd travail de constitution d’unebase de données unique à partir de14 fichiers du MICT, deux par an de 1997 à2003 (l’un contenant les indicateurséconomiques et l’autre les effectifs desentreprises par catégorie professionnelle),ainsi que du fichier des actions deformation par entreprise élaboré parl’OFPPT. Les paires de fichiers du MICTcomprenaient selon les années entre 6 567et 7 710 entreprises, et le fichier del’OFPPT 20 183 actions de formationorganisées de 1996 à 2004, représentant4 591 entreprises ayant mis en œuvre desactions de formation planifiées et nonplanifiées sur la période 1997-2003(entreprises industrielles et tertiaires).Finalement, l’appariement manuel desdeux ensembles de bases de données(MICT et OFPPT) a abouti à un fichier de779 entreprises industrielles ayant conduitdes actions de formation au cours de lapériode 1997-2003.

De ce fichier a été extrait un échantillonprincipal rassemblant des entreprises –322 au total – définies comme suit :possédant des données économiques surau moins deux années dont une annéepostérieure à 1999, ayant au moins uneannée de formation au cours de la période2000-03 et disposant de donnéeséconomiques et de formation pour aumoins une même année au cours de lapériode 2000-03.

Afin d’éviter au maximum les biais dansl’évaluation, un échantillon témoin a été tiréde façon aléatoire dans une population de2 796 entreprises non formatrices dans lecadre de la politique publique. Pour cefaire, 12 strates ont été définies à partir dedeux critères relatifs au chiffre d’affaire(plus ou moins de 25 000 dirhams), deuxcritères de taille (plus ou moins de50 salariés) et de trois critères de secteur(textile, métallurgie et autres industries).

L’échantillon comprenait 322 entreprises,soit 200 destinées à être enquêtéesdirectement et 122 susceptibles d’êtrecontactées en fonction d’éventuels refus dela part de certaines entreprises du premiergroupe de 200.

Au total, compte tenu des contraintes liéesà la procédure d’enquête (refus derépondre, entreprises ayant cessé leuractivité ou ayant vu leur statut juridique setransformer), 356 entreprises ont pu êtreenquêtées ; 192 formatrices et 164 nonformatrices au regard des CSF (dont 21 quiforment sans passer par ce dispositifpublic). L’échantillon a été volontairementlimité à la région de Casablanca.

Trois questionnaires différents ont étéélaborés. Un premier questionnaires’adressait spécifiquement aux entreprisesformatrices dans le cadre des CSF. Undeuxième questionnaire s’adressait auxentreprises formatrices en dehors dusystème des CSF ou n’organisant pas deformation. Le troisième questionnaireconcernait les salariés, qu’ils aient étéformés dans l’entreprise enquêtée, dansune entreprise précédente ou qu’ils n’aientjamais bénéficié d’une action de formation.

3.4 EFFETS DES CONTRATSSPÉCIAUX DE FORMATIONSUR LA COMPÉTITIVITÉ DESENTREPRISES

Après avoir comparé les caractéristiquesrespectives des entreprises formatrices etnon formatrices telles qu’identifiéesprécédemment, nous présenterons lefichier spécifique utilisé pour l’évaluationéconométrique et ensuite, les résultats decette évaluation qui constituent sans doutele point le plus important de cette section.

3.4.1 COMPARAISON DESENTREPRISES FORMATRICESET NON FORMATRICES

La comparaison des caractéristiques desentreprises formatrices et non formatricesa permis tout d’abord de révéler desdifférences quant à la stratégie générale.

41


Ainsi, 70% des entreprises formatrices ontdéclaré attacher une grande importance àl’amélioration de la compétence desdifférentes catégories de salariés, 68% à lamise au point de nouveaux procédés deproduction et 78% à la réduction des coûts.Les proportions correspondantes au seindes entreprises non formatrices étaient de53%, 55% et 68% respectivement. D’autresfacteurs stratégiques, à savoir la créationde produits nouveaux, la différenciationdes produits existants ou l’amélioration dela qualité des produits, discriminent peu lesdeux groupes d’entreprises.

Il a été observé que les entreprisesformatrices disposaient d’un appareil deproduction plus moderne. Ainsi 66%d’entre elles disposaient d’une conceptionassistée par ordinateur (49% des nonformatrices), 63% recouraient au dessinassisté par ordinateur (41% des nonformatrices) et 84% à la gestion assistéepar ordinateur (74% des non formatrices).En outre, 18% les entreprises formatricespossédaient des robots (7% des nonformatrices) et 65% des machines àcommande numérique (42% des nonformatrices).

Les entreprises formatrices semblaientégalement plus fréquemment insérées surune trajectoire de changement. Ainsi, aucours des cinq dernières années, 85%d’entre elles ont procédé à deschangements organisationnels dans laproduction (59% des non formatrices), 76%à l’introduction de produitstechnologiquement nouveaux (51% desnon formatrices), 74% à l’introduction denouvelles technologies (46% des nonformatrices), et 69% à l’introduction d’unedémarche qualité (34% des nonformatrices). D’autres différences, bien quede moindre ampleur, distinguent égalementles deux groupes d’entreprises pour ce quia trait aux changements prévus pour lestrois prochaines années.

Les actions de formation engagées par lesentreprises visaient en premier chefl’augmentation de la rentabilité (pour 84%d’entre elles), l’accompagnement de lamodernisation (66%), l’amélioration de lamaintenance des équipements (65%), laconquête de nouveaux marchés (63%) et

l’amélioration de la qualité de lacommunication et des relations humainesentre salariés (61%). Les trois quarts desentreprises formatrices ont déclaré avoirporté à la connaissance des salariés lesprojets attachés à la politique de formation.

Pour ce qui est des salariés, lesentreprises avaient pour objectifsprincipaux de leur consentir une meilleureadaptation à leur poste de travail (cité par86% des entreprises formatrices) etd’améliorer leur productivité (pour 84%d’entre elles). Pratiquement les deux tiersdes entreprises ont également mis l’accentsur l’amélioration du transfert deconnaissances entre salariés sur le lieu detravail.

L’impact de la formation sur la carrière dessalariés, tel que mis en lumière par lesdéclarations des responsablesd’entreprise, n’apparaît pas systématique.Pour 62% des entreprises formatrices, dessalariés avaient été promus à l’issue desformations, et dans 53% des cas, dessalariés avaient changé de poste sanspromotion à l’issue des formations. Onpeut relever que si 44% des entreprisesformatrices interrogées ont déclaré que cesformations avaient mené à desaugmentations de salaire, 32% n’ont pasdonné de réponse et 24% ont répondunégativement.

Si 60% des entreprises formatricesconsidèrent que les CSF ont permisd’intégrer la formation dans leurs projets dedéveloppement et d’identifier les besoinsen compétences, et si la moitié d’entreelles voient dans les CSF une aide pourune meilleure planification des besoins enformation, il faut relever l’existence d’ungroupe d’entreprises «opportunistes» quiont considéré les CSF comme uneopportunité de financement de la formationà saisir pour réduire les charges deformation du personnel (30% desentreprises formatrices interrogées).

Si l’on considère les entreprisesformatrices sans tenir compte desentreprises «opportunistes», les écartss’accentuent entre entreprises formatriceset non formatrices, par exemple pour cequi est de la recherche de compétitivité

42


fondée sur les prix, plus fréquente chez lespremières. On peut signaler également que35% des entreprises formatrices dans lecadre des CSF ont entrepris d’autres typesd’actions.

Lorsqu’on s’intéresse aux raisons justifiantl’absence de formation ou le non recoursaux CSF, les entreprises dans ce cassoulignent le fait qu’elles préfèrent recruterdes personnes possédant les compétencesnécessaires (70% des cas) ou que lescompétences et savoirs actuels de leurssalariés correspondent aux besoins del’entreprise (68%). Ces mêmes entreprisesont déclaré, dans 37% des cas, ne pasavoir été informées sur les CSF (elles sontégalement 41% à ne pas avoir répondu àcette question). Mais 52% de cesentreprises affirment envisager de faire dela formation dans les trois prochainesannées ; 37% d’entre elles souhaitent avoirrecours aux CSF pour y parvenir et 16%projettent de former leurs employés parleurs propres moyens et à l’aide des CSF.

Ces résultats indiquent que les deuxcatégories d’entreprises – CSF et non CSF– évoluent selon des modèles dereprésentation du rôle des ressourceshumaines assez différents qui reflètentleurs rapports contrastés vis-à-vis de laformation continue. Les premières croientaux vertus de la connaissance accumuléesur le lieu de travail pour se moderniser,les autres retiennent une vision statiquedes compétences dans la mesure où ellespensent que ces dernières sont à chercheret trouver immédiatement sur le marché dutravail externe.

3.4.2 CONSTRUCTION DUFICHIER NÉCESSAIRE ÀL’ANALYSE ÉCONOMÉTRIQUE

Afin d’élaborer un modèle économétriquede l’impact de la formation sur lesperformances des entreprises, un paneld’entreprises a dû être constitué pourpermettre l’observation à divers momentssur une période donnée. Le comitéscientifique avait proposé de construire untel panel à partir d’un appariement desbases de données nationales et d’enrichircet ensemble de données par des

observations réalisées au cours desenquêtes auprès des entreprises.

La base de données de l’OFPPT s’estfréquemment révélée lacunaire en ce quiconcerne les variables de dépensesprévues, les engagements, les paiementset le nombre d’actions de formation. Ainsi,dans 75% des cas, le nombre d’actions deformation n’avait pas été indiqué. C’estpourquoi seule l’information relative au faitd’avoir effectué au moins une action deformation dans le cadre des CSF au coursde la période 2000-03 a été utilisée.

Quant à la base de données du MICT, il afallu en éliminer les valeurs aberrantes, cequi a conduit à un fichier de631 observations portant sur la période2001-03. Les variables qui ont pu êtreutilisées sont le chiffre d’affaires, le chiffred’affaires à l’exportation, la valeur de laproduction, l’investissement, les frais depersonnel, l’effectif permanent, l’effectifpermanent des femmes et le nombre dejours travaillés. Ce fichier constituait unpanel non cylindré, c’est-à-dire un fichiercomposé de plusieurs observations (unepar année pour chacune des variables)pour chaque entreprise, sans qu’unemême entreprise ait pu être observéesystématiquement pour l’ensemble desannées. Le nombre d’observationsannuelles peut donc varier d’une année àl’autre. Ces 631 observationscorrespondent à 256 entreprises,129 formatrices et 127 non formatrices.Parmi ces entreprises, 9,7% apparaissentune fois, 34,6% apparaissent deux fois et55,7% apparaissent trois fois.

Ce nouveau fichier, qui comprend desvaleurs utilisables pour les variablesimportantes, diffère légèrement du premierpuisqu’il couvre 256 entreprises et non plus356. Cet épurement n’a pas fortementaltéré les caractéristiques respectives desentreprises formatrices et non formatricestelles qu’elles ont été présentéesprécédemment.

La distribution en termes de taille étaitquasiment identique pour les deux groupesd’entreprises. Cependant, les entreprisesformatrices relevaient plus fréquemment dusecteur métallurgique (25% contre 15%),

43


alors que les non formatrices étaient plusreprésentées dans le textile et les autresindustries (respectivement 45% contre39% et 40% contre 36%). Les trois quartsdes entreprises formatrices (74%)n’appartenaient pas à un groupe nationalcontre 65% des entreprises nonformatrices ; 13% des entreprisesformatrices étaient des filiales d’unesociété multinationale contre 4% des nonformatrices.

La recherche de compétitivité fondée surles prix et l’importance accordée àl’innovation se retrouvent à l’identique ausein de cet échantillon utilisable pourl’analyse économétrique.

3.4.3 ÉVALUATIONÉCONOMÉTRIQUE DEL’IMPACT DES CSF SUR LESPERFORMANCES DESENTREPRISES

À partir du panel constitué, les effets de laformation continue par l’économétrie desdonnées de panel ont été évalués. L’effetdu passage par les CSF sur lesperformances des entreprises industriellesmarocaines a été analysé moyennant deuxcatégories de variables : le chiffre d’affaireset la valeur de la production (définies enabsolu et par tête). L’analyse a étérestreinte par l’existence de ces deuxseules variables dans les bases dedonnées.

Avant d’expliciter les résultats del’estimation de l’effet moyen du passagepar les CSF, nous présenterons lesméthodes d’évaluation.

Dans toute évaluation d’impact d’unepolitique publique, la relation de causalitéétudiée se présente de la manièresuivante : chaque entreprise (un individustatistique) a une variable de résultat, avecou sans traitement (la mise en place ounon des CSF). Dans cette étude,l’indicateur de performance est le chiffred’affaires (CA) ou la valeur de laproduction (VP) : par exemple, y0représente le CA sans traitement alors que

y1 représente le CA avec traitement.Chaque entreprise (ou individu) estcaractérisée par une variable detraitement T (le CSF), avec T=1 qui signifiele traitement et T=0 qui signifie l’absencede traitement.

Il est impossible d’avoir, à une datedonnée, à la fois le CA avec formation et leCA sans formation pour une mêmeentreprise. L’estimation de l’effet moyend’un traitement (ATE ou average treatmenteffect) constitue dans ce cas la réponseaux questions suivantes : quel est le CAd’une entreprise concernée par le CSF etquel serait le CA de cette entreprise si ellen’utilisait pas le CSF? Cela implique lacomparaison de deux mondes, le mondeactuel et un monde contrefactuel. Danscette étude, le cas où le passage par laformation d’une entreprise affecte dans unsens ou dans l’autre le CA d’une autreentreprise (effet d’équilibre général) n’estpas envisagé.

La mesure de l’ATE consiste à évaluer ladifférence entre le CA moyen avec et sanstraitement, avec néanmoins quelquesvariantes.

� L’ATE est l’effet moyen du traitementsur toute la population. C’est donc l’effetattendu de la formation sur le CA d’uneentreprise choisie de façon aléatoiredans la population : ATE=E(y1-y0). Leproblème de cette mesure est qu’ellepeut inclure des individus qui n’auraientjamais été éligibles au traitement.

� L’ATET (ou average treatment effect onthe treated) est l’effet moyen dutraitement sur les traités ou, enl’occurence, l’effet moyen de laformation sur ceux qui y participent :ATET=E(y1-y0/T=1). L’ATET estnormalement équivalent à l’ATE mais ilpeut être différent dans certains cas.

� Un troisième indicateur de mesure estl’effet moyen de traitement local (LATEou local average treatment effect), quise réfère à l’utilisation de techniquesfaisant appel aux variablesinstrumentales. C’est le typed’indicateur utilisé dans cette étudepour les raisons qui sont explicitéesplus bas.

44


L’hypothèse d’un traitement aléatoire n’apas été retenue dans l’étude6. Dans le casde la formation, en effet, cela implique quel’on suppose qu’à la fin de la formation leCA des entreprises formatrices, si ellesn’avaient pas fait de formation, soitéquivalent, en moyenne, au CA desentreprises non formatrices, et vice-versa.Ainsi, l’estimation de l’effet moyen de laformation se résumerait à la différenceentre le CA moyen des entreprisesformatrices et le CA moyen des entreprisesnon formatrices. Or, l’hypothèse que lepassage par une formation soit attribué demanière aléatoire entre les entreprises estrarement réaliste et n’est de toute manièrepas applicable au cas marocain. En effet,si les caractéristiques des entreprisesinfluencent le fait qu’elles sontsélectionnées pour une formation, et si cescaractéristiques ont également un impactsur le CA, alors il y a un problème de biaisde sélection dans l’estimation de l’ATE.

D’autres hypothèses, moins restrictives,peuvent être utilisées pour estimer l’ATE :

� l’hypothèse de l’ignorabilité dutraitement conditionnellement à unensemble de variables observables x(régression par moindres carrésordinaires avec des variables decontrôle) ;

� l’hypothèse de la disponibilité d’une ouplusieurs variables instrumentales quidéterminent la participation autraitement, mais pas la variable derésultat.

Partant des données en notre possession,et considérant notamment la nondisponibilité de variables instrumentales, laméthode d’estimation préférée est uneestimation en deux étapes s’inspirant deMundlak (1978) et d’Hausman et Taylor(1981)7. La méthode consiste à mesurerles effets des CSF moyennant uneprojection linéaire de l’hétérogénéité nonobservée des entreprises sur un ensemble

de caractéristiques productives et deressources humaines, parmi lesquellesfigure le passage ou non par les CSFdécliné selon plusieurs contextes. Cettetechnique permet de corriger le biaiséventuel d’endogénéité de la formationdans les estimations. La procédure et sesavantages sont explicités en détail dans lerapport final du projet (De Lorenzoformazione, 2006).

Les résultats de l’estimation de l’effetmoyen du passage par les CSF sur lesperformances des entreprises sont décritsci-dessous en termes d’effets globaux etd’effets contextualisés.

En termes d’effets globaux, et d’après lessimples statistiques descriptives, l’intuitionsuggère que le passage par les CSF a uneffet potentiellement positif sur le CA et laVP. Le CA et la VP dans les entreprisesformatrices sont plus élevés en moyennede 25% et 23% respectivement que dansles entreprises non formatrices. Cettesection a pour objet de présenter lesrésultats vérifiant cette hypothèse parl’intermédiaire d’une spécificationéconométrique robuste.

Les estimations sont réalisées en utilisantdeux types d’information sur les mêmesentreprises tout en appliquant troisdémarches différentes8. Le premier typed’information utilisé est le fait quel’entreprise ait fait ou non de la formationvia les CSF (information tirée uniquementde l’OFPPT). Un second jeu de variablesvient ensuite y rajouter les informationstirées des enquêtes. Ces variables croisentmécaniquement le passage par les CSFavec les différents contextes de sonutilisation.

Un premier résultat, tiré uniquement de lapremière base de données sans exploiterles résultats de l’enquête, montre quelorsque le modèle économétrique est malspécifié, l’effet mesuré de la formation sur

45


6 Cela reviendrait à faire l’hypothèse que l’indicateur de traitement est statistiquement indépendant de lavariable de résultat, ce qui se produirait si le traitement etait attribué de manière aléatoire entre les agents(dans ce cas ATE=ATET).

7 Les outils économétriques préconisés prennent aussi en compte les biais liés au non cylindrage du panel etcorrigent les écarts-types de l’hétéroscédasticité.

8 Elles comportent : (i) une estimation d’un modèle à effet aléatoire ; (ii) une estimation en deux étapes oùl’effet individuel est obtenu dans une première étape à partir d’une estimation «within» puis est projeté sur lesvariables censées l’expliquer ; et (iii) le modèle précédent corrigé de l’hétéroscédasticité.

le CA est très voisin d’une simpledifférence de moyenne (23,5%), l’effet surla VP étant de 16,7%.

Les résultats issus de l’estimation en deuxétapes (estimateur «préféré») revoient à labaisse l’impact sur le CA, indiquant quedes caractéristiques non observées desentreprises corrélées avec leur CA peuventles amener à faire plus de formation queles autres. Sans prise en compte desdonnées de l’enquête réalisée auprès desentreprises, le traitement issu des basesde données nationales indique un effet desCSF sur le CA de 12,4% et un effet de 17%sur la VP.

La question posée par la suite est desavoir si ces résultats sont confirméslorsque le modèle est enrichi par lesinformations tirées des enquêtes. Lorsquetoutes les caractéristiques en matière detechnologie et de ressources humainessont introduites dans le modèle9, l’effet dupassage par les CSF sur les performancesdes entreprises disparaît. Ainsi, le simplefait de contrôler ces caractéristiques, quisont d’une façon ou d’une autre corréléesavec la manière dont la formation est géréedans l’entreprise, relativiseconsidérablement l’effet mesuré. Lecomportement des entreprises«opportunistes» serait ainsi différencié decelui des entreprises qui inscrivent laformation dans une stratégie dedéveloppement. Le succès du dispositifpublic d’intervention reposerait surl’implication des différents acteursconcernés et notamment les bénéficiairesdirects que sont les entreprises.

En termes d’effets contextualisés, lescritères tirés des textes officiels expliquantet détaillant l’usage des CSF, recueillis lorsde l’enquête, ont été introduits dansl’analyse, à savoir : intégrer la formationdans le projet de développement del’entreprise ; favoriser l’émergence de lademande de formation en entreprise ; aiderà mieux planifier les besoins de formationdans l’entreprise ; et une simpleopportunité de financement pour réduireles charges de l’entreprise en matière deformation. Ces variables sont intéressantes

parce qu’elles présentent le contexte danslequel les CSF ont été utilisés. L’hypothèseest que l’effet de la politique publiquevarierait selon la manière dont l’entreprisea incorporé ce dispositif dans son projet dedéveloppement.

La différence de CA moyen entreentreprises formatrices – ayant utilisé lesCSF en intégrant la formation dans leurprojet de développement – et entreprisesnon formatrices s’élevait à 29% environ,alors que ce différentiel n’était que de 25%lorsque le seul critère utilisé était d’avoir ounon utilisé les CSF. En revanche, lorsqueles entreprises ont utilisé les CSF commeune simple opportunité de financement afinde réduire les charges en matière deformation, ce différentiel a chuté à 10%.

Les résultats de l’analyse économétriqueconfirment que les entreprises qui ontintégré la formation dans leur projet dedéveloppement et d’identification de leursbesoins en compétences ont étégénéreusement récompensées. Lesmodèles les plus robustes estiment ceseffets à 14,5% sur le CA, 14,9% sur le CApar tête, 11,4% sur la VP et 11,8% sur laVP par tête.

En dehors de ce premier effetcontextualisé, les entreprises ayant utiliséles CSF dans le simple but de favoriserl’émergence d’une demande de formationn’ont enregistré aucun effet sur leurperformance. L’hypothèse proposée estqu’elles ne sont pas encore au stade où laformation peut intervenir directement surleurs performances productives. Ellesutiliseraient les CSF dans le simple butd’enclencher cette dynamique. La questionreste en suspens de savoir si à l’avenir cepositionnement les aidera à concrétiserleurs projets de développement.

Par contre, pour les entreprises ayantutilisé les CSF dans le but de mieuxplanifier leurs besoins en formation, lesestimations économétriques identifient deseffets sur le CA par tête se situant autourde 12% et un effet sur la VP par têtedépassant les 13%. Ces valeurs sontproches de celles identifiées pour les

46


9 Ces variables comprennent entre autres le statut de l’entreprise, son secteur d’appartenance, sa taille, sontype de produit, la structure de ses effectifs et les raisons invoquées pour avoir recours à la formation.

entreprises qui ont intégré la formationdans leurs projets de développement etidentifié leurs besoins en compétences. Entout cas, l’usage de la politique publiquecomme un moyen de planification desbesoins en formation et d’identification deréels besoins tire la VP par tête et le CApar tête vers le haut. Toutefois, cet effetn’apparaît pas au niveau du CA et de la VPtotaux.

Dans le cas des entreprises ayant utiliséles CSF comme une opportunité definancement et de réduction des charges,non seulement l’effet estimé est-il souventnul, mais il devient à l’occasionsignificativement négatif (-14,5% sur le CAet -13,3% sur la VP). Il semblerait ainsi quelorsque ces entreprises adoptent unestratégie de «passager clandestin» dansl’usage des fonds publics destinés à laformation, elles sont sévèrementsanctionnées. La question de savoirpourquoi elles en sont là malgré le faitqu’elles aient fait recours à la formationreste posée. Les enquêtes de terraindevraient inclure ces entreprises parmicelles qui doivent être étudiées de façonapprofondie pour en savoir plus.

La façon dont les CSF agissent sur lesperformances des entreprises a égalementété estimée en fonction de la manière dontles entreprises mobilisent un certainnombre de moyens et de stratégies pourgérer leur politique de formation. L’enquêteréalisée – selon la démarche retenue parles enquêtes européennes sur la formationen entreprise (CVTS) – a permis d’identifiercinq mécanismes différents utilisés par lesentreprises pour identifier leurs besoins enformation10. Ces variables ont été croiséesmécaniquement avec le fait d’avoir ou nonfait appel à un CSF.

Les résultats économétriques les plusrobustes présentent les caractéristiquessuivantes.

� L’existence d’un centre de formation,l’appel à un conseil externe pour desrecommandations en matière deformation professionnelle continue et la

mise en œuvre d’une règle formelled’identification des besoins n’ont pasentrainé d’effets significatifs. Ainsi,l’existence de ressources matérielles –dont la qualité n’est pas documentée –ne paraît pas suffire pour tirer profit aumieux des CSF. De même, l’applicationd’une simple règle de recensement desbesoins en formation n’estprobablement pas la meilleure formulepour optimiser l’usage des CSF.

� Si le développement du marché del’offre de formation et de conseil enstratégie ne peut avoir que des effetsbénéfiques pour maximiser les gainstirés de la formation en termes dedéveloppement de la compétitivité desentreprises, les résultats ne permettentpas de le confirmer.

� L’usage des CSF via un responsable deformation est significatif. Ainsi,l’existence d’un acteur dont la principalefonction est de traduire les projets dedéveloppement de l’entreprise entermes de formation tout en optimisantl’instruction et l’usage des CSF, paraîtavoir un effet décisif sur la performancedes entreprises. Ces effets sont del’ordre de 10% sur le CA, 11% sur le CApar tête et sur la VP, et 12% sur la VPpar tête.

� L’effet des CSF est positif et significatiflorsque l’entreprise met en place desentretiens structurés et coopère avecl’ensemble du personnel afin d’identifierleurs besoins spécifiques en matière deformation (13% sur le CA et le CA partête, et plus de 11% sur la VP et la VPpar tête).

Il semblerait donc que lorsque laformation et sa programmation sont unefonction intégrée dans l’organisationgénérale de l’entreprise, les effets liés aupassage par les CSF sont maximisésétant donné que les efforts des décideurspublics se traduisent en une allocationefficace de l’effort de formation au seinde la firme.

D’autres variables contextuelles attestentque lorsque la politique publique estutilisée avec des objectifs tels que la

47


10 À savoir, l’existence d’un centre de formation, l’existence d’un responsable de formation, l’utilisation parl’entreprise d’un service de conseil externe pour la politique de formation, la mise en place par l’entreprised’une procédure formelle d’identification des besoins en formation et la conduite par l’entreprise d’entretiensavec les salariés pour en identifier les besoins en formation.

maintenance ou la modernisation deséquipements, la conquête de nouveauxmarchés, ou encore la réduction desconflits sur le lieu de travail, ses effets sontassez visibles (notamment sur le CA).

Du point de vue méthodologique,soulignons enfin que la spécificationéconométrique la moins robuste (modèle àeffet aléatoire faisant l’hypothèse que ladistribution des CSF et de leurs contextesest aléatoire) donne des résultats souventsurestimés et proches du simple différentielmoyen de CA et de VP.

3.5 ENQUÊTE AUPRÈS DESSALARIÉS

Un questionnaire devant être adressé à unéchantillon de salariés de chaqueentreprise enquêtée a été préparé. Son butétait d’identifier de façon directe l’effet de laformation ayant recours aux CSF, sur laproductivité et les compétences desemployés. Le questionnaire devait mettreen évidence les rendements de laformation – en termes de salaires, demobilités ascendantes ou encored’amélioration des conditions de travail –pour les bénéficiaires. Cette enquête,réalisable et utile (bien que raremententreprise dans les pays endéveloppement), a révélé des difficultésméthodologiques et logistiques que legroupe opérationnel n’a pas pu résoudre.

Une méthode proposée par le groupeopérationnel a été de récupérer lesdonnées relatives aux salariés dans lesfichiers de la Caisse nationale de sécuritésociale, et d’apparier les entreprisesenquêtées avec les entreprises figurantdans ces derniers afin d’identifier lessalariés à interroger. À partir de cetappariement, la population des salariésembauchés et leurs principalescaractéristiques (adresse postale et lieu derésidence, catégorie socioprofessionnelle,âge, etc.) pourraient être déterminées dansles entreprises enquêtées. Partant de là, ilserait possible d’obtenir dans de bonnes

conditions un échantillon aléatoire desalariés parmi l’effectif des entreprisesformatrices et non formatrices11.

Quelque 246 salariés ont été interviewés.Dans la mesure du possible, leur sélectiona été réalisée selon la taille des entrepriseset la structure des qualifications.

La première question du questionnaireadressé aux salariés avait pour objectifd’identifier le contexte dans lequel laformation avait été réalisée. La réponse àcette question indique que 25,7% dessalariés ayant participé à l’enquête avaientété formés dans le cadre des CSF, 14,4%ne le savaient pas et 59,6% n’avaient pasété concernés par la formation. Ce taux deformation de 25% correspond à celuiobservé dans d’autres enquêtes françaisessur la formation continue. Parmi lessalariés ayant été concernés par laformation dans l’entreprise où ilstravaillaient au moment de l’enquête,58,7% avaient suivi une seule formation,11,9% avaient suivi deux formations,10,9% en avaient suivi trois et 18,5 %avaient pu suivre au moins quatreformations. Ces formations avaient étéréalisées pour l’essentiel dans le butd’augmenter le salaire, les compétencesou la productivité (40% des cas), alors quepour 20% des salariés la formation avait eupour objectif d’obtenir un diplôme ou unequalification. Enfin, 17% des salariésavaient suivi la formation afin de s’adapterà leur emploi.

Les salariés interrogés étaient pour la plupartdiplômés de l’enseignement général (57,7%possédaient un diplôme, contre 35,4% sanset 6,9% de non réponse). Ils étaient 34,5% àavoir suivi un enseignement technique (31%avaient obtenu un diplôme). Les salariésayant été embauchés auparavant par uneautre entreprise ont fourni des indicationsquant à la cause de leur départ, à savoir,pour la majorité d’entre eux, l’absenced’opportunités de carrière, la démission, la finde contrat et enfin, le licenciement (un seulcas). Parmi les salariés de ce groupe, seuls11,4% ont déclaré avoir suivi une formation.

48


11 L’avantage étant de pouvoir effectuer l’enquête au domicile des salariés et non forcément sur leur lieu detravail. Selon le rapport final sur le projet, l’interview des salariés sur leur lieu de travail comporterait des biaisénormes dus aux craintes de sanctions qu’un employé peut ressentir en répondant de façon non conformeaux souhaits de son employeur.

3.6 RECOMMANDATIONS ETPERSPECTIVES DETRANSFERT

Les constats suivants ont été tirés del’analyse économétrique.

� Pertinence du dispositif CSF. LesCSF constituent une mesure efficacede la politique publique en matière deformation continue puisqu’ilsaméliorent la performance desentreprises, en particulier lorsquecelles-ci «jouent le jeu».

� Équité du dispositif CSF. Lesentreprises qui n’incluent pas laformation dans une stratégied’ensemble et qui ne voient dans lesCSF qu’un moyen de réduire leursdépenses de formation n’observentaucun impact de leurs actions deformation. À l’inverse, les entreprisesqui font de la formation un élémentd’une stratégie globale demodernisation, de développement etd’innovation, sont récompensées.

� Efficacité du dispositif CSF. Lesentreprises qui utilisent les CSF dansun but correspondant aux objectifs de lapolitique publique réalisent un gainsupplémentaire au niveau de leur CA etde la VP, de 14,5% et 11,4%respectivement.

� Incidence mitigée des CSF sur lemanagement. L’effet des CSF varieselon les moyens mobilisés pour lemanagement des politiques de formationpar les entreprises. Les entreprises quicroient aux vertus de la formation sontcelles qui maximisent les gainspotentiels de la mise en place des CSF.

� Efficience du dispositif CSF. Lesentreprises qui utilisent les CSF commeun outil essentiel pour améliorer leursperformances sont celles qui en tirentles gains les plus importants. Celles quicoopèrent avec leurs salariés pouridentifier les besoins en compétencesréussissent à assurer la cohérenceentre leurs objectifs et ceux de lapolitique publique.

Pour ce qui est des recommandations, ilest clair que le dispositif des CSF – et plusgénéralement, la politique publique d’aide

au développement des entreprises àtravers le conseil et la formation –mériterait d’être davantage connu,notamment parmi les entreprises les pluspetites. Malheureusement, ces entreprisessont aussi les moins structurées du pointde vue institutionnel, quand bien souventl’information et la promotion des actions dedéveloppement passent par lesorganisations professionnelles.

Ce projet devrait soutenir le développementd’une culture de l’évaluation qui ne soit passeulement une évaluation de procédure, auniveau macro et micro, mais une évaluationdes performances. Au niveau macro, leniveau national, il est important de former lepersonnel chargé d’alimenter les bases dedonnées à l’évaluation, même sous formed’initiation. C’est en saisissant l’importancede la qualité des données pour l’évaluationque les différentes parties prenantesaccorderont plus d’attention aux opérationsde saisie et de maintenance. Au niveaumicro, celui des entreprises, lesresponsables doivent être formés auxtechniques d’évaluation d’impact et à laconstitution des bases de données qui ysont liées.

En ce qui concerne le transfertd’expérience à d’autres pays et contextes,de nombreux enseignements peuvent êtretirés. Tout d’abord, le fait que le projet aitpu être mené à bien tient en grande partieà un montage institutionnel (proposé parl’ETF) qui a réuni un comité de pilotagecomprenant les administrations en chargede la politique de formation et lespartenaires sociaux. Cette organisation apermis d’affronter les difficultés et detrouver des solutions. L’une des difficultésa tenu à la qualité décevante desinformations contenues dans les bases dedonnées nationales. La réplication d’un telprojet suppose donc une évaluationpréalable attentive des contenus des basesde données et de leurs conditions d’accès.Les enquêtes en entreprise sont une autreopération critique, qui suppose unepréparation minutieuse, en termesd’échantillonnage comme en termes dequestionnaire et de formation desenquêteurs. À cet égard, il faut veiller à ceque les organisations d’employeurs soientassociées dès l’origine à cette phase.

49


Dans la mesure où les aspects techniquessont importants dans la méthodologieadoptée, il est essentiel que l’équipeopérationnelle possède les compétencesrequises. Il n’est pas toujours aisé, parcontre, de trouver au sein desadministrations des personnes capablesd’assimiler rapidement des techniques quisupposent une bonne culture

économétrique. Quand il s’avèreimpossible de trouver les personnesadéquates, une formation en profondeurdoit être envisagée pour quelquespersonnes et une initiation plus généraleaux techniques d’évaluation quantitativedoit être réalisée pour un public plus largeet élargie aux partenaires sociaux etresponsables d’entreprise.

50


4. COMPLÉMENTARITÉ DESAPPROCHES QUALITATIVEET QUANTITATIVE

Les deux études avaient pour objetl’évaluation des effets de la formation –formation au management dans le projetrusse et dispositif de formation continuedans le projet marocain – à l’aide deméthodologies différentes, en fonction ducontenu de chacun des projets. Les deuxprojets étaient donc différents à bien deségards.

� Leurs objectifs étaient différents et leurdéfinition se déclinait différemment. Leprojet marocain a fixé des objectifs àatteindre précis et délimités afind’améliorer la compétitivité et laproductivité des travailleurs. À cetégard, les résultats devant ressortir del’évaluation étaient clairs et bien définisaux yeux de l’évaluateur : uneestimation quantitative du gain deproductivité apporté par la formation. Leprojet russe a laissé davantage deliberté à l’évaluateur dans la définitiondes résultats devant ressortir de

l’évaluation, l’intitulé du projet étant pluslarge (faisant référence dans le rapportfinal sur le projet au «développement decapacités de management»12).

� Ils ont eu recours à des méthodesd’évaluation distinctes. Le projetmarocain s’est attaché à l’évaluationquantitative des effets de la formation àl’échelle de l’entreprise. Le projet russea adopté une approche qualitative,l’évaluation visant pour l’essentiel àaméliorer la connaissance des effets dela formation au management sur ledéveloppement des entreprises russes.

� Tandis que le projet marocain s’estpenché sur une formule de formationprécise (le CSF), le projet russe aévalué la formation au management demanière générale au travers de sixacteurs et avec diverses partiesprenantes.

Alors qu’une approche interprétative etqualitative a été retenue pour le projet

51

4

12 «L’objectif du projet était l’analyse des effets des programmes de formation nationaux et internationaux sur ledéveloppement de capacités de management au sein de la Fédération de Russie […]» (ISTUD, 2006, p. 1).

russe, c’est une approche quantitative quia été adoptée pour le projet marocain. Cesméthodologies ont chacune leursavantages et leurs contraintes.

4.1 AVANTAGESCOMPARATIFS

4.1.1 CONTRIBUTION AUXPOLITIQUES SELON DEUXPERSPECTIVESDIFFÉRENTES

Les deux rapports de projet fournissentune évaluation des politiques publiques deformation et contribuent de façonsignificative aux politiques qui pourraientêtre adoptées dans un avenir proche. Côtérusse, les formations analysées avaient étésoutenues par plusieurs partenairespublics étrangers (Commissioneuropéenne, Banque mondiale, etc.). Côtémarocain, la politique étudiée a trait à unsystème d’incitation à la formation enentreprise. De ce point de vue, les deuxapproches peuvent être considéréescomme étant utiles aux décideurspolitiques, à quelque niveau que ce soit(européen, national ou entreprise).

Selon leur approche respective, lesrapports proposent des mesuresdifférentes de l’impact du programme deformation. Le rapport russe (ISTUD, 2006)relate l’opinion des participants interrogés,tandis que le rapport marocain (DeLorenzo formazione, 2006) fournit unemesure quantitative précise reposant surl’augmentation de production del’entreprise comme effet de la formation.Ces deux rapports viennent corroborerl’utilité des investissements dans laformation.

Le rapport russe affirme que les effets dela formation ont été tangibles au niveauindividuel, «avec l’apparition d’un rôle degestionnaire se caractérisant par unensemble fourni et diversifié decompétences, d’aptitudes et decomportements, qui reflète les profils etmodèles présents dans les entreprisesinternationales» (p. 85).

Il fournit une indication quant aux effortsconsentis par les organismes étrangerspour améliorer le management en Russie.De même, il donne une descriptionprécise des problèmes liés audéploiement des activités ainsi que desprincipaux éléments bénéfiques résultantde la formation.

Selon le rapport marocain, la politiquenationale visant à promouvoir la formationen interne se révèle efficace parmi lesentreprises qui investissent dans laformation avec l’objectif général deconforter les compétences de leurmain-d’œuvre afin en améliorer lesperformances.

4.1.2 NIVEAU D’ANALYSE

L’entreprise a été la principale unitéd’analyse choisie pour le travaild’investigation sur le terrain. En Russie, leseffets ont été étudiés au niveau del’entreprise : «la formation, et plusparticulièrement la formation en entreprise,a également eu des effets significatifs surl’innovation, car l’environnement s’y prêtaitidéalement» (p. 40). Les résultats attestentque les domaines ayant enregistré leseffets les plus importants ont été ceux liésà la définition des processus de l’entrepriseainsi que certains processus de gestionessentiels, en particulier les domaines dumarketing et de la gestion du personnel.Au Maroc, l’échantillonnage reposait sur lechoix de secteurs d’activité précis et, parmiceux-ci, d’entreprises concernées (ou non)par la politique des CSF.

Dans les deux cas, les résultats du travaild’investigation sur le terrain ont étécomparés à d’autres données secondairesafin de procéder à une vérification croiséede la cohérence générale des donnéesrécoltées sur le terrain par rapport auxconnaissances existantes.

Il y a lieu de noter qu’en Russie,l’évaluation a porté sur le secteur tertiaire(le tourisme, par ex.), ce qui n’a pas été lecas au Maroc. Il est plus ardu d’évaluer laproductivité de la main-d’œuvre dans lesecteur tertiaire que dans l’industrie.

52


4.1.3 RÉSULTATSSPECIFIQUES

Dans le cas du projet russe, les effetsinattendus et les effets symboliques desprogrammes de formation ont été pris enconsidération et analysés. Cette démarcheenrichit le contenu des résultats de l’étudedes effets de la formation. La création d’unréseau réunissant les anciens participantsà la formation constitue un autre résultatprobant relevé lors de l’évaluation.

En ce qui concerne le projet marocain, il ya lieu de souligner que la méthodologieadoptée peut être qualifiée d’originale, carelle a rarement été utilisée dans les paysen développement. Comme il n’est pasaisé de traiter la question de l’impactéconomique de la formation, la solutionmise en œuvre mérite une attention touteparticulière.

L’évaluation marocaine a également menéune analyse en profondeur des bases dedonnées existantes et a décrit lesconditions à réunir pour une utilisationintégrée de celles-ci. L’implication departenaires provenant du ministèremarocain de l’Emploi et de la Formationprofessionnelle a constitué un aspectimportant. Elle a permis, en effet,d’amorcer un processus de renforcementdes capacités.

Certains éléments du rapport marocain sesont révélés dignes d’intérêt. Citons, parexemple, le fait que les entreprisesformatrices ont plus souvent déclaré queles compétences de leurs employésfaisaient partie de leur stratégie globale.La relation entre l’innovation et la formationconstitue un autre résultat pertinent : lesentreprises qui innovent ont plus souventrecours à la formation que les autres.

4.2 CONTRAINTESCOMPARATIVES

4.2.1 LA QUESTION DUGROUPE TÉMOIN

Les méthodes actuelles d’évaluationd’impact se veulent rigoureuses : une

étude des effets doit envisager le scénariocontrefactuel, à savoir ce qui se seraitproduit si le projet n’avait jamais vu le jour(Baker, 2000). Baker souligne également lefait que (p. 1) :

«Pour déterminer le contrefactuel, il estindispensable de ramener l’effet desinterventions à une base nette d’autresfacteurs – une tâche plutôt complexe. Ils’agit d’avoir recours à des groupes decomparaison ou à des groupes témoins(des individus ne participant pas auprogramme ou ne bénéficiant pas d’unservice), que l’on compare ensuite augroupe de traitement (les individusbénéficiant de l’intervention). Lesgroupes témoins sont sélectionnés demanière aléatoire à partir de la mêmepopulation que les participants à laformation, alors que le groupe decomparaison est tout simplement legroupe ne bénéficiant pas de laformation en question. Les groupes decomparaison et de contrôle doivent êtresemblables au groupe de traitement entous points, la seule différence entre lesgroupe étant la participation à laformation.»

L’avantage d’une analyse quantitative parrapport à une recherche qualitative commecelle mise en œuvre dans le cadre duprojet russe est que l’évaluateur peut tenircompte de variables exogènes pouvantinterférer dans le processus de mise enrelation du traitement (formationprofessionnelle ou formation aumanagement) et de ses résultats.L’inconvénient réside dans le fait que lesfacteurs exogènes ne sont pasexplicitement pris en compte dans le projetrusse. De plus, les effets de sélectivité endébut de programme ne sont pas exclusdes résultats. Ces faits peuvent porter àconséquence pour la signification etl’interprétation des résultats si les individusbénéficiaires sont retenus sur la base decaractéristiques non observées pouvantinfluer sur la probabilité de participer auprogramme ainsi que sur les résultats dece dernier. Plus précisément, l’évaluateuraimerait non seulement connaître laréponse à la question «comment lesmanagers formés ont-ils agi après avoirparticipé à la formation?», mais ilsouhaiterait surtout savoir «comment ces

53

4. COMPLÉMENTARITÉ DES APPROCHES QUALITATIVE ET QUANTITATIVE

mêmes managers se seraient comportéss’ils n’avaient pas pris part à laformation?». Voilà le contrefactuel qui nousintéresse. Nous ne sommes pas certainsque le projet russe puisse répondre à laseconde question, malgré la définitionélaborée et documentée des concepts etdes méthodes d’évaluation (une «approcheholistique et interprétationnelle», comme lestipule le rapport final).

Dans le projet russe, des effets desélectivité ont vraisemblablement joué unrôle, car les auteurs du rapport final n’ontpas clairement établi quels étaient lescritères de sélection des entreprisesimpliquées dans l’étude de cas. Lescritères de sélection des managerssemblent avoir posé problème pour lesbénéficiaires de la formation eux-mêmes.Cela souligne l’importance de la sélectionpour l’évaluation des résultats potentielsdes formations, même si l’on adopte uneapproche qualitative. En effet, lesquestions de sélectivité peuvent égalementinfluer sur la perception qu’ont lesparticipants de l’efficacité du programmede formation.

Au cours des formations, lesenvironnements culturel et économique, lasociété ainsi que les informations ettechnologies disponibles peuvent avoirévolué et modifié l’état d’esprit dumanager, indépendamment de la formationsuivie.

En ce qui concerne le projet marocain, laméthodologie mise en œuvre n’apportequ’une réponse partielle à cette difficulté vuque l’évaluation d’impact a été menéea posteriori. Par ailleurs, elle a utilisé ungroupe témoin composé d’entreprisespossédant les mêmes caractéristiques entermes de taille, de résultats financiers etde secteur d’activité. Néanmoins, elle n’apas fait usage de techniques d’évaluationaléatoires, ni d’approches communesa posteriori comme l’appariement desévaluateurs.

Les données statistiques initiales montrentque les entreprises formatrices diffèrentdes entreprises non formatrices en cequ’elles recourent plus fréquemment à

l’utilisation des technologies modernes(équipement informatique) et àl’introduction de changementsorganisationnels (introduction de nouvellessolutions technologiques, adoption d’unedémarche qualité). Par ailleurs, laformation peut avoir un effet positif sur lesrésultats d’une entreprise simplementparce que des processus novateurs sont àl’œuvre. Les évaluateurs marocainsauraient dû faire mention de ces élémentsafin d’éviter de présenter la formationcomme un système systématique efficacepermettant d’améliorer les ventes ou laproductivité.

4.2.2 CONTRAINTES DEL’APPROCHE QUALITATIVE

La principale contrainte de l’approcherusse est liée à la méthodologie retenue :la portée des effets ne peut être évaluéeavec précision. Quelques exemplespeuvent en témoigner. Le rapport relatif auprojet russe affirme que «les évolutions decarrière, tant au sein de l’entreprise – parla promotion à une fonction supérieure oul’octroi de responsabilités supplémentairesdans la même fonction – qu’à travers lamobilité externe, semblaient constituercertains des principaux avantages de laformation» (p. 31). Quatre témoignagesviennent illustrer cette affirmation, mais lenombre total ou le pourcentage de casn’est pas communiqué. Des commentairessemblables peuvent être faits à proposd’autres affirmations telles que «toutes lespersonnes occupant une fonction desupervision […] sont convaincues de lapertinence de la formation» ou «la directionest totalement convaincue, elle aussi, […]»ou encore «les résultats sont parfoisinsignifiants ou inexistants» (p. 38).

Ce même rapport fait également état du faitque «les participants ont confirmé queleurs performances en termes financiers,économiques et commerciaux s’étaientaméliorées [au terme de la formation]»(p. 45), ajoutant que même s’ils n’étaientpas certains que cela était dû à laformation, ils avaient tendance à le penser.Cela souligne l’importance de déterminer lacausalité dans une approche qualitative.

54


De manière opportune, le rapport proposed’évaluer les effets non intentionnels desprogrammes de formation. Ainsi d’un pointde vue individuel, le bouleversement de lavie des personnes est présenté comme leprincipal effet non intentionnel. Du point devue de l’entreprise, le principal effet nonintentionnel a été le taux élevé de mobilitéexterne. Certaines questions demeurenttoutefois sans réponse. Combien sont-ils àestimer que leur vie a changé? Quel a étéprécisément le taux de mobilité externedes personnes formées par rapport à celuid’un manager faisant partie de leurentreprise? Selon quelle fréquence lesformations ont-elles fait office d’incubateuréconomique? S’agit-il d’un cas isolé oupeut-on dire que c’est une règle générale?

4.2.3 CONTRAINTES DEL’APPROCHE QUANTITATIVE

L’approche adoptée au Maroc doitincontestablement composer avec leslimitations d’une méthodologie reposantsur l’analyse de bases de donnéesexistantes et d’informations récoltées àl’aide de questionnaires. La stratégie desacteurs est uniquement dépeinte selon lesdimensions retenues a priori pour cesquestionnaires. Aucun effet nonintentionnel ne peut donc être pris enconsidération.

Une certaine prudence est de mise lorsqueles différences entre entreprisesformatrices et entreprises non formatricessont étudiées en termes de compétitivité àtravers la qualité de leurs produits oul’adoption de nouveaux produits ou denouveaux processus.

4.2.4 PERTINENCE DESRÉACTIONS EN CHAÎNE

Les réactions en chaîne d’apprentissageéventuelles découlant du déploiement deprogrammes de formation au sein desentreprises ne sont pas abordées13. Celatient pour l’essentiel à la présenced’écueils méthodologiques, et en particulierà la difficulté d’évaluer la présenced’externalités humaines intra-entreprises

dans les évaluations en général. Ceproblème peut être résumé comme suit.Les ouvrages consacrés à la croissanceendogène soulignent la présenced’externalités technologiques ou socialesqui génèrent un rendement supérieur pourles facteurs traditionnels, notamment letravail. Il est probable que certaines de cesexternalités prennent la forme deconnaissances générales pouvant êtrediffusées au sein de l’économie. De même,il est possible que bon nombred’externalités surviennent dans lesentreprises où le travailleur opère puisquec’est là que les processus technologiquessont le plus souvent mis en œuvre ettransmis. Nombreuses sont les tâches quinécessitent un travail en équipe faisantappel à des aptitudes disséminées sur lelieu de travail (Battu et autres, 2003). Laformation d’un travailleur peut ainsi faireappel à l’imitation, c’est-à-dire àl’observation de travailleurs qualifiés entrain d’exécuter une tâche donnée. Lesinteractions entre travailleurs peuventcontribuer à l’amélioration descompétences, et la diffusion desconnaissances est susceptible d’êtresupérieure au sein d’un environnement detravail à forte densité de capital humain.Aussi, un travailleur possédant unequalification précise peut avoir uneproductivité supérieure et donc être mieuxrémunéré dans une entreprise à forteintensité de capital humain.

Il est essentiel de considérer les deuxsources de capital humain simultanément,car les politiques d’enseignement et lespolitiques soutenant la formationprofessionnelle sont susceptiblesd’influencer différemment l’environnementdu travailleur et celui de l’entreprise. Le fait,notamment, de ne pas prendre enconsidération les externalités en matièrede connaissance au sein des entreprisespeut conduire à sous-estimer les bienfaitsde ces politiques.

Le rapport relatif aux formationsorganisées en Russie tient compte desréactions en chaîne lorsqu’il avance que«les individus semblent agir comme uncaillou jeté dans une mare : leur influencesur les personnes alentour est modeste,

55

4. COMPLÉMENTARITÉ DES APPROCHES QUALITATIVE ET QUANTITATIVE

13 Cela étant dit, le rapport final relatif au projet russe utilisait le terme d’entreprise de la connaissance.

mais positive. À travers eux donc, laformation prodiguée influe indirectementsur une grande partie de l’entreprise». Onpeut toutefois se demander dans quellemesure ce constat peut être généralisélorsqu’on ne dit mot à propos du nombrede cas concernés.

4.2.5 CONTRAINTES DUES ÀLA BRIÈVETÉ DE LA PÉRIODED’OBSERVATION

Les projets ont tous deux souffert dudécalage entre le déploiement desprogrammes de formation et l’observationdes effets qu’ils produisent sur lesentreprises. Il en a été ainsi au Maroc, oùla formation des travailleurs peut prendreplusieurs années avant de générer unaccroissement de la compétitivité. Idem enRussie où «concernant les technologies del’information, certains effets sont déjàvisibles, tandis que d’autres se ferontprobablement ressentir dans un avenirproche» (p. 41).

S’agissant du projet marocain, les résultatset les conclusions doivent être analysésavec davantage de prudence vu le volumerestreint de données disponibles, enparticulier eu égard à la brièveté de lapériode durant laquelle les effets de laformation ont été mesurés.

4.2.6 CONTRAINTES DUES AUNIVEAU D’ANALYSE

Si le projet russe s’est attardé au niveauindividuel (en le distinguant du niveau del’entreprise), le projet marocain n’est pasparvenu à adopter une approcheindividuelle au niveau du travailleur. À vraidire, l’évaluation effectuée au Maroc n’apas donné lieu à une grande enquêteauprès des salariés, comme le stipulait lecahier des charges.

Même si les participants aux formationsen Russie n’ont pas perçu de différenceentre les divers programmes de

formation, il aurait été pertinent d’enapprendre davantage sur chacun desprojets et chacune des institutions deformation de façon à pouvoir fournircertains conseils pour d’autresprogrammes similaires.

4.3 POUR UN ÉQUILIBRE DESAPPROCHES QUALITATIVE ETQUANTITATIVE

L’adoption de ces deux approches dans lebut de cerner pleinement la complexité desmécanismes qui relient les performancesde l’entreprise et les politiques deformation peut être considérée comme unedémarche de complémentarité en termesd’évaluation complète de l’impact desformations. S’agissant de projets dotésd’une composante «formation», il n’y vapas seulement de changementsquantifiables mais également dechangements qualitatifs ainsi que d’autreschangements plus subtils dans lesattitudes et les approches adoptées par lesparticipants à la formation. À cet égard, lesapproches retenues par chacun des deuxprojets s’avèrent complémentaires.Cependant, comme l’a souligné Baker(2000, p. 7) :

«Les méthodes qualitatives, et toutparticulièrement l’observation desparticipants, peuvent fournir desindications quant à la façon dont lesménages et les communautés localesperçoivent un projet et à l’influence duprojet sur ces personnes. Comme lamesure du contrefactuel est au cœurdes techniques d’évaluation des effets,l’approche qualitative a généralementété utilisée en combinaison avecd’autres techniques d’évaluation.L’approche qualitative fait appel à desméthodes relativement non dirigées lorsde la conception, de la récolte et del’analyse. Par ailleurs, les donnéesqualitatives peuvent être quantifiées.»

Cela atteste de la complémentarité desapproches qualitative et quantitative.

56


5. CONCLUSIONS

L’objectif principal du présent rapport étaitde faire le point sur les évaluations tantqualitative que quantitative de l’impact desprincipaux programmes et politiques deformation continue dans deux payspartenaires : le Maroc et la Russie. Cetexercice d’évaluation à large spectre estrelativement rare. De plus, la méthode«recherche action» adoptée est fort utile ;elle démontre qu’un tel travail d’analyse estréalisable dans le contexte propre auxpays partenaires et les résultats peuventcontribuer au processus de prise dedécision politique.

Au lieu de s’attarder sur les résultats desévaluations menées, ce dernier chapitre sepenche sur les caractéristiques de cesévaluations. Il aborde également lesconditions qui prévalaient au sein desentreprises et qui ont permis ledéploiement réussi des études d’impact.Enfin, il tâche d’ébaucher uneméta-évaluation des deux projets(Stufflebeam et autres, 2000).Demailly (2006) avance plusieurs conceptsanalytiques d’examen de l’efficacité socialedes évaluations, y compris la pertinencescientifique, l’efficacité stratégique, lacrédibilité, l’efficacité de la formation et

l’efficacité changeante. Tenant compte decertains de ces concepts, nous proposonsin fine une nouvelle perspective deconception et de mise en œuvre desétudes d’impact. Dans les grandes lignes,elle s’insère dans ce que nous appelons«policy learning» (apprentissage despolitiques) et approfondit le débat relatif àla question fondamentale de savoir si (etde quelle manière) les entreprises utilisentles études d’évaluation? (Leeuw et autres,2000).

5.1 LE DILEMMEQUANTITATIF/QUALITATIF

Au cœur du présent rapport, la descriptionde deux études de cas ayant adopté unedémarche d’évaluation soit quantitative,soit qualitative. Nous estimons qu’il s’agit làde modèles, car chacune de cesapproches se caractérise par une structureet un cadre conceptuel sans équivoque dutravail d’évaluation. Par ailleurs, chaquedémarche tient compte des particularitésdu contexte du programme ainsi que dupays où il est mené. Le chapitre 4 ci-avanta présenté les avantages et les contraintesde ces deux approches.

57

5

Il est important de souligner que ces deuxmodèles d’évaluation des effets ne doiventpas être considérés comme des approchesincompatibles. Même si elles divergent surdes aspects essentiels comme la définitiondes objectifs, y compris les effetsescomptés et inattendus (Russie), et lerecours à des contrôles expérimentaux afinde mesurer les effets d’un instrument(Maroc), elles se recoupent sur d’autresaspects. Un bon exemple dechevauchement est l’objectif de contribuerau processus de prise de décisionpolitique. Dans la pratique, ce concept demodèles qui se chevauchent signifie queles utilisateurs peuvent associer deséléments issus de modèles différentslorsqu’ils conçoivent une évaluation(Stufflebeam et autres, 2000). C’est le casdu projet russe tel que décrit par lesautorités nationales dans l’avant-propos.

La collecte d’idées et d’opinionsindividuelles (en Russie) s’est révélée fortinstructive et vitale pour l’évaluation duprogramme. Il apparaît que les typesd’informations récoltées selon cetteméthode d’évaluation peuvent compléterune approche plutôt quantitative (cf.l’avant-propos des autorités russes) enl’élargissant davantage.

5.2 LE TALON D’ACHILLE DESÉTUDES D’IMPACT

Fait tout aussi important, le présent rapporta abordé un certain nombre de questionsqui sont largement négligées dans lespublications dédiées aux évaluations. Toutd’abord, comme le mentionnel’avant-propos des autorités marocaines,une attention particulière doit être accordéeaux dispositions relatives à l’organisationde l’étude d’impact (le choix de l’organismemenant l’étude, les connaissances desexperts internationaux et locaux, lecalendrier, le coût, etc.). Ensuite, les deuxétudes, mais le Maroc en particulier (cf. lechapitre 3 ci-avant), ont pâti de problèmesde coordination entre les diverses sourcesd’information et de tracasseriesadministratives dans l’identification, leformatage, la transmission et le traitementdes données et des informations. Enréalité, les études d’impact impliquent lacollecte de volumes d’information

conséquents, et les deux projets indiquentque la disponibilité et la qualité del’information en constituent le talond’Achille. Dès lors, une attention soutenuedoit être accordée aux procéduresd’identification et de collecte de cesinformations. Afin de s’assurer que lacoopération soit plus qu’épisodique, il estimpératif de s’appuyer sur un engagementdurable à fournir des informationscohérentes et utiles ainsi qu’à œuvrer avecles fournisseurs et utilisateursd’informations.

Une ultime question a trait à la manièredont les résultats sont présentés etdiffusés. Des séminaires organisés dansles deux pays concernés pour la diffusiondes résultats, auxquels ont participé lesbailleurs de fonds, ont révélé que lesévaluateurs se doivent d’adapter leurdiscours au public cible. Des présentationshautement techniques peuvent ainsidéboucher sur un certain degré deconfusion et d’incompréhension.

5.3 ÉVALUATION CENTRÉESUR L’APPRENTISSAGE DESPOLITIQUES

L’importance attribuée par les deuxmodèles aux implications en matière depolitique menée coïncide avec unchangement de cap dans les discussionsanimant le secteur du développement desressources humaines. Ce changementreprésente le passage du simple apport dedonnées aux effets des politiques (ETF,2003 ; Grootings et Nielsen, 2006 ; Mingatet autres, 2003). Il coïncide égalementavec une importance croissante accordéeà la nécessité d’élaborer des politiquesreposant sur des faits probants (OCDE,2007), qui étaye l’action visant à ancrer lechoix des politiques dans uneconnaissance plus fiable de ce qui génèredes résultats (Sanderson, 2002). Enfin, ilest également lié à la nécessité d’unegouvernance efficace alimentée par uneévaluation des politiques et desprogrammes. Quelle est l’utilisation desévaluations en général et des étudesd’impact en particulier? Par ailleurs,comment faut-il procéder à une évaluationpour en inciter l’utilisation? Voici quelquesquestions que les pays partenaires doivent

58


aborder, non seulement de manièregénérale mais dans le cadre précis d’uneévaluation centrée sur l’apprentissage.

L’évaluation centrée sur l’apprentissagepart du principe que toute évaluationdevrait être jugée en fonction desnouvelles connaissances qu’ellesfournissent au système et de leur utilisationconcrète par les parties prenantes. CommePatton l’écrit fort à propos (2000, p. 427) :«Dans toute évaluation, les partiesprenantes potentielles sont légion et lesutilisations possibles sont multiples.» Laligne de conduite de l’intervention de l’ETFdoit être de faciliter une approche del’apprentissage des politiques (Grootings,2004 ; Grootings et Nielsen, 2006).Comme ces derniers le définissent (2005,p. 155), «l’hypothèse de base sous-jacentedans le concept de l’apprentissage despolitiques n’est pas tant le fait que lespolitiques sont susceptibles d’êtreapprises, mais bien qu’elles sont toutes lerésultat d’un apprentissage». Parmi lesautres questions à considérer : commentles diverses parties prenantesperçoivent-elles le processus d’évaluationou encore, quels sont les principalesconclusions et les principauxenseignements qu’elles en tirent (cf. lesdeux avant-propos)?

L’apprentissage à partir d’évaluations nese résume pas à un transfert deconnaissances ou de comportementsd’une personne à une autre. Il s’agitégalement de l’acquisition d’unecompréhension et d’une compétence àtravers la participation à des projetsd’évaluation qui doivent dès lors êtreconsidérés comme des processusd’apprentissage. Cette approche nécessited’accorder une attention particulière à lamanière de mettre sur pied desexpériences collaboratives et partagéesentre différentes parties prenantes –responsables politiques, partenairessociaux, comité de pilotage et consultantslocaux. Cela s’avère particulièrementimportant lorsque l’objectif est ledéveloppement au niveau national decapacités à mener ce type d’évaluations.L’expérience marocaine montre que laposition de l’ETF en faveur d’un recoursaccru à la formation de la part des

entreprises s’est illustrée dansl’identification des besoins de formationdes parties prenantes et la conception dela formation au processus d’évaluation et àl’utilisation des données. La formation desparties prenantes marocaines auxméthodes et processus d’évaluationrépond à la fois aux besoins à court terme(comprendre la méthodologie et lesrésultats) et aux besoins à long terme(développer les capacités des décideurs demanière à contribuer à une utilisationaccrue de l’évaluation au fil du temps).

Après avoir souligné les avantages nonnégligeables d’une étude d’impact enmatière d’apprentissage des politiques, il ya lieu d’émettre un certain nombre deréserves. Tout d’abord, le débat en coursest limité dans la mesure où le rapportaborde les résultats de deux cas de figureseulement. Ensuite, l’apprentissage qui aeu lieu est difficile à localiser au niveau del’entreprise ou en dehors des propos deséquipes de l’ETF. Encore plus difficile :tenter d’identifier la décision ou laredéfinition précise de la politique pouvantêtre attribuée à l’étude d’impact. Dans lecadre d’une étude d’impact,l’apprentissage des politiques ne va pas desoi. Le point fort du cadre de l’étuded’impact est qu’il fournit un contexte quirend possible non seulement l’implication,mais aussi l’engagement actif des partiesprenantes nationales dans le pilotage duprocessus et dans le développement deleur propre compréhension des questions.Dernier enseignement à tirer de ce projet :la réalisation d’études d’impact estaléatoire, ardue, coûteuse et prendbeaucoup de temps. Il est donc fortementrecommandé de développer les capacitéslocales à mener les études d’impact, carcela permettra de garantir l’utilité, lafaisabilité et la durabilité de celles-ci.

Un projet pilote démarre toujours par unephase de réussite (effet Hawthorne). Uneévaluation isolée d’un certain type peutgénérer des résultats prometteurs.Toutefois, seuls le transfert et lareproduction d’une l’expérience viendronten conforter les résultats. L’expérience amontré que seul un nombre suffisantd’évaluations peut constituer une basesolide apte à soutenir la prise de décision.

59

5. CONCLUSIONS

ACRONYMES

ATE effet moyen du traitement (average treatment effect)

ATET effet moyen du traitement sur le sujet traité (average treatment effect on thetreated)

CA chiffre d’affaires

Céreq Centre d’études et de recherches sur les qualifications

CSF contrats spéciaux de formation

CVTS enquête sur la formation professionnelle continue (Continuing VocationalTraining Survey)

ETF Fondation européenne pour la formation (European Training Foundation)

GIAC groupements interprofessionnels d’aide au conseil

IMME industries métallurgiques, mécaniques, électriques et électroniques

LATE effet local moyen du traitement (local average treatment effect)

MICT ministère de l’Industrie, du Commerce et des nouvelles Technologies

OFPPT Office de la formation professionnelle et de la promotion du travail

PME petites et moyennes entreprises

PSID étude de la dynamique des revenus (Panel Study of Income Dynamics)

Tacis assistance technique à la Communauté d’États indépendants (technicalassistance to the Commonwealth of Independent States)

UE Union européenne

VP valeur de la production

61

BIBLIOGRAPHIE

Abowd, J.M. et Kramarz, F., ‘Human capital and worker productivity: direct evidence fromlinked employer-employee data‘, 2006,www.crest.fr/ckfinder/userfiles/files/Pageperso/kramarz/abowdkramarzpaper20060212.pdf.

Altonji, J.G. et Spletzer, J.R., ‘Worker characteristics, job characteristics, and the receipt ofon-the-job training’, Industrial and Labor Relations Review, 45(1), 1991, pp. 58-79.

Bacharach, S.B., Gagliardi, P. et Mundell, B. (éd.), Studies of organizations in the Europeantradition, JAI Press, Greenwich, CT, 1995.

Baker, J.L., Evaluating the impact of development projects on poverty: a handbook forpractitioners, Banque mondiale, Washington, DC, 2000.

Barron, J.M., Berger, M.C. et Black, D.A., ‘Do workers pay for on-the-job training?’, Journal ofHuman Resources Education, 34(2), 1999, pp. 235-52.

Barron, J.M., Black, D.A. et Loewenstein, M.A., ‘Job matching and on-the-job training’, Journalof Labor Economics, 7(1), 1989, pp. 1-19.

Barron, J.M., Black, D.A. et Loewenstein, M.A., ‘Gender differences in training, capital andwages’, The Journal of Human Resources, 28(2), University of Wisconsin Press, 1993,pp. 343-64.

Bartel, A.P., ‘Training, wage growth, and job performance: evidence from a companydatabase’, Journal of Labor Economics, 13(3), 1995, pp. 401-25.

Battu, H., Belfield, C.R. et Sloane, P.J., ‘Human capital spillovers within the workplace:evidence for Great Britain’, Oxford Bulletin of Economics and Statistics, 65(5),Blackwell Publishing, 2003, pp. 575-94.

Black, S.E. et Lynch, L.M., ‘Human-capital investments and productivity’, American EconomicReview, 86(2), 1996, pp. 263-67.

Brunsson, N., ‘Ideas and actions: justification and hypocrisy as alternatives to control’,Bacharach, S.B., Gagliardi, P. et Mundell, B. (éd.), Studies of organizations in theEuropean tradition, JAI Press, Greenwich, CT, 1995.

Carriou, Y. et Jeger, F., ‘La formation continue dans les entreprises et son retour surinvestissement’, Économie et Statistique, 303(3), 1997, pp. 45-58.

Cracknell, B., Evaluating development aid: issues, problems and solutions, Sage Publications,London, 2000.

Dearden, L., Reed, H. et Van Reenen, J., ‘Who gains when workers train? Training andcorporate productivity in a panel of British industries‘, CEPR Discussion Papers 2486,Centre for Economic Policy Research, London, 2000.

De Lorenzo formazione, ‘Évaluation de l’impact de la formation continue sur les performancesdes entreprises marocaines’, Rapport final, De Lorenzo formazione, 2006.

Demailly, L., ‘Évaluer les évaluations’, Figari, G. et Mottier Lopez, L. (éd.), Recherche surl’évaluation en éducation, L’Harmattan, 2006, pp. 203-10.

63

Destré, G. et Nordman, C., ‘Les effets de la formation informelle sur les gains : unecomparaison sur données appariées françaises, marocaines et tunisiennes’, L’Actualitééconomique, 78(2), Montréal, 2002, pp. 179-206.

Easterby-Smith, M., Thorpe, R. et Lowe, A., Management research: an introduction, SagePublications, London, 1991.

Edelman, M., The symbolic uses of politics, University of Illinois Press, 1964.

ETF, Learning matters – partager les expériences du passé pour le futur, Conférence ducollège consultatif de l’ETF, 5-7 novembre 2003, déclaration finale, Fondationeuropéenne pour la formation, Turin, 2003.

Frazis, H. et Loewenstein, M.A., ‘Reexamining the returns to training: functional form,magnitude, and interpretation’, BLS Working Papers 325, Bureau of Labor Statistics,1999.

Gagliardi, P. et Quaratino, L., L’impatto della formazione: un approccio etnografico, Guerini eAssociati, Milano, 2000.

Grootings, P., ETF, ‘Facilitating policy learning: active learning and the reform of educationsystems in transition countries’, document de travail, Fondation européenne pour laformation, Turin, 2004.

Grootings, P. et Nielsen, S. (éd.), ETF, ETF Yearbook 2005 – Teachers and trainers:professionals and stakeholders in the reform of vocational education and training,Fondation européenne pour la formation, Turin, 2005.

Grootings, P. et Nielsen, S. (éd.), ETF, ETF Yearbook 2006 – Skills development for povertyreduction, Fondation européenne pour la formation, Turin, 2006.

Guba, E. et Lincoln, Y., Effective evaluation, Jossey-Bass Publishers, San Francisco, 1981.

Gurkov, I., ‘Mapping HRM in Russia: the results of repeated surveys of CEOs’, documentprésenté au Chemnitz East Forum on HRM Management, 1997.

Hausman, J.A. et Taylor, W.E., ‘Panel data and unobservable individual effects’,Econometrica, 49(6), The Econometric Society, 1981, pp. 1377-98.

Heckman, J.J., ‘Dummy endogenous variables in a simultaneous equation system’,Econometrica, 46(4), The Econometric Society, 1978, pp. 931-59.

Heckman, J.J., ‘Sample selection bias as a specification error’, Econometrica, 47(1), TheEconometric Society, 1979, pp. 153-62.

Heckman, J., Ichimura, H., Smith, J. et Todd, P., ‘Characterizing selection bias usingexperimental data’, Econometrica, 66(5), The Econometric Society, 1998, pp. 1017-98.

Hotz, V.J., Imbens, G. et Mortimer, J., ‘Predicting the efficacy of future training programs usingpast experiences at other locations’, Journal of Econometrics, 125, 2005, pp. 241-70.

ISTUD, ‘Impact assessment of training for company development in the Russian Federation’,Rapport final, Istituto Studi Direzionali, 2006.

Kets de Vries, M., Shekshnia, S., Korotov, K. et Florent-Treacy, E., The new Russianbusiness leaders, Edward Elgar Publishing, Northampton, MA, 2004.

Latour, B., ‘The powers of association’, Law, J. (éd.), Power, action and belief: a newsociology of knowledge?, Routledge & Kegan Paul, London, 1986, pp. 264-80.

Lave, J. et Wenger, E., Situated learning: legitimate peripheral participation, CambridgeUniversity Press, Cambridge, 1991.

Leeuw, F.L., Rist, R.C. et Sonnichsen, R.C. (éd.), Can governments learn? Comparativeperspectives on evaluation and organisational learning, Transaction Publishers, 2000.

Leuven, E. et Oosterbeek, H., ‘A new approach to estimate the wage returns to work-relatedtraining’, IZA Discussion Papers 526, Institute for the Study of Labor, 2002.

64


Lynch, L.M., ‘Private-sector training and the earnings of young workers’, American EconomicReview, 82(1), 1992, pp. 299-312.

Mincer, J., Schooling, experience and earnings, Columbia University Press, New York, 1974.

Mincer, J. et Jovanovic, B., ‘Labor mobility and wages’, Rosen, S. (éd.), Studies in labormarkets, University of Chicago Press, Chicago, 1981, pp. 21-64.

Mingat, A., Tan, J.-P. et Sosale, S., Tools for education policy analysis, Banque mondiale,Washington, DC, 2003.

Mundlak, Y., ‘On the pooling of time series and cross section data‘, Econometrica, 46(1), TheEconometric Society, 1978, pp. 69-85.

Nordman, C., ‘La formation sur le tas par diffusion du savoir : estimations sur donnéesmarocaines et mauriciennes’, Revue d’Économie du Développement, 4, 2000,pp. 79-103.

Nordman, C., ‘Formation du capital humain et diffusion du savoir dans l’entreprise : analyseéconométrique sur données appariées marocaines et tunisiennes’, Thèse de doctoraten sciences économiques, Université de Paris I Panthéon-Sorbonne, 2002.

OCDE-CERI, Evidence in education: linking research and policy, OCDE-CERI, Paris, 2007.

OCDE-PUMA, ‘Guide des meilleures pratiques à suivre pour l’évaluation’, PUMA Note desynthèse n° 5, Paris, 1998,http://portals.wi.wur.nl/files/docs/ppmefr/OECDsuivi%C3%A9valuation.pdf.

Parent, D., ‘Wages and mobility: the impact of employer-provided training’, Journal of LaborEconomics, 17(2), 1999, pp. 298-317.

Patton, M.Q., ‘Utilization-focused evaluation’, Stufflebeam, D.L., Madaus, G.F. et Kellaghan,T. (éd.), Evaluation models: viewpoints on educational and human services evaluation,Kluwer Academic Publishers, 2000, pp. 425-38.

Perret, B., L’évaluation des politiques publiques, La Découverte, Paris, 2001.

Popham, W.J., ‘Objectives and instruction’, Stake, R.E. (éd.), Instructional objectives, RandMcNally, Chicago, 1969, pp. 31-64.

Puhani, P.A., ‘The Heckman correction for sample selection and its critique’, Journal ofEconomic Surveys, 14(1), Blackwell Publishing, 2000, pp. 53-68.

Sanderson, I., ‘Making sense of “what works”: evidence-based policy making as instrumentalrationality?’, Public Policy and Administration, 17(3), 2002, pp. 61-75.

Scriven, M., ‘The methodology of evaluation’, Tyler, R.W., Gagné, R.M. et Scriven, M. (éd.),Perspectives of curriculum evaluation, Rand McNally, Chicago, 1967, pp. 39-83.

Stufflebeam, D.L., Madaus, G.F. et Kellaghan, T. (éd.), Evaluation models: viewpoints oneducational and human services evaluation, deuxième édition, Kluwer AcademicPublishers, 2000.

Tan, H., ‘Do training levies work? Malaysia’s HRDF and its effects on training and firm-levelproductivity’, document de travail, Banque mondiale, 2001.

Tan, H. et Lopez-Acevedo, G., ‘Mexico: in-firm training for the knowledge economy’, PolicyResearch Working Paper Series 2957, Banque mondiale, Washington, DC, 2003.

Taylor, F.W., The principles of scientific management, Harper Bros, New York, 1911.

Turner, B.A., ‘Real men don’t need soft data’, document de travail, 1988.

Turner, B.A., ‘Rethinking organisations: organisational learning in the nineties’, documentprésenté à la EFMD Research Conference, Palerme, 1991.

Veum, J.R., ‘Sources of training and their impact on wages’, Industrial and labor relationsreview, 48(4), 1995, pp. 812-26.

65

BIBLIOGRAPHIE

FONDATION EUROPÉENNE POUR LAFORMATION

LES ÉTUDES D’ÉVALUATION D’IMPACT ET LEURSIMPLICATIONS SUR LA PRISE DE DÉCISIONPOLITIQUE

Luxembourg : Office des publications officielles desCommunautés européennes

2009 – 68 pp. – 21.0 x 29.7 cm

ISBN : 978-92-9157-584-8

doi : 10.2816/12771

LA FONDATION EUROPÉENNE POUR LA FORMATION (ETF)AIDE LES PAYS VOISINS DE L’UE (LES PAYSPARTENAIRES) À RÉFORMER LEURS SYSTÈMESD’ENSEIGNEMENT ET DE FORMATION PROFESSIONNELSDANS UNE PERSPECTIVE D’APPRENTISSAGE TOUT AULONG DE LA VIE AFIN D’EXPLOITER AU MIEUX LEPOTENTIEL DE LEURS RESSOURCES HUMAINES

NOUS CONTACTER

Des informations supplémentaires sur nosactivités, appels d’offres et offres d’emploipeuvent être obtenues sur notre site web :www.etf.europa.eu

Pour toute autre information, veuillez contacter :

Unité Communication de l’ETFFondation européenne pour la formationVilla GualinoViale Settimio Severo 65I – 10133 TurinE [email protected] +39 0116302222F +39 0116302200

COMMENT VOUS PROCURER LES PUBLICATIONSDE L’UNION EUROPÉENNE?

Vous trouverez les publications de l’Office des publications disponibles à la vente sur le site del’EU Bookshop (http://bookshop.europa.eu), où vous pourrez passer commande auprès dubureau de vente de votre choix.

Vous pouvez également demander la liste des points de vente de notre réseau mondial partélécopie au (352) 29 29-42758.

Co

pyr

igh

t p

ho

to: E

TF

/F. D

eco

rato


TA

-30

-08

-51

4-F

R-C

Office des Publications

Publications.europa.eu

Documents

LES ÉTUDES D’ÉVALUATION D’IMPACT ET LEURS …€¦ · En ce qui concerne la finalité de prise de décision, il n’est jamais aisé de déterminer si l’évaluation contribue