32
1 Le suivi évaluation d’un projet Erasmus + : Au delà des résultats, le suivi des changements Un petit guide https://vb1a.wordpress.com/2015/08/03/creativity-corporation/

Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

1

Lesuiviévaluationd’unprojetErasmus+:

Audelàdesrésultats,lesuivideschangements

Unpetitguide

https://vb1a.wordpress.com/2015/08/03/creativity-corporation/

Page 2: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

2

Préambule _________________________________________________________________________3

LeF3E___________________________________________________________________________________3

Lepartenariatstratégique«Préparerlesmétiersdedemainenmilieurural»________________________3Ledéroulementdupartenariatstratégique.____________________________________________________________4

Ledispositifdeplanification,suivietévaluationdesMFRdanslesprogrammesErasmus+__5

Cequisefaitdéjà_________________________________________________________________________6

Evaluationdesapprentissagesmutuels________________________________________________________6Deschangementssystémiquesetdurables ____________________________________________________________6ExpérimentationdeméthodesinnovantesenMFR______________________________________________________6

Journalduchangement__________________________________________________________________________7Journaldebordetfeuillederoute_________________________________________________________________7

QualifierlesImpacts:lesenjeux_____________________________________________________________7Surlesquestionsliéesàl’équitédeschancesetàl’insertionprofessionnelle _________________________________7PourlesMFRetlafédération _______________________________________________________________________7PourlespartenairesdesMFR_______________________________________________________________________8

CommentsuivreunprogrammeErasmus,au-delàdesactivités?___________________________________9

Suivreles«changements»,enthéorie._________________________________________________10

Quelestl’intérêtdesuivreles«changements»? ______________________________________________114idéescléspourappréhender«lechangement»___________________________________________________ 12

LesApprochesOrientéesChangement:AOCqu’est-cec’est? ____________________________________13Unediversitédeméthodes_______________________________________________________________________ 13Unedémarcheenquatretemps___________________________________________________________________ 14

Enpratique,commentprocéder?______________________________________________________15

Ladémarche: ___________________________________________________________________________16Démarrerparunatelierchemindechangement______________________________________________________ 16Entrerdirectementparlesuivideschangementsetleréajustementdesactivités ___________________________ 16

ü 1èreétape:Choixdudispositifdusuiviévaluationdeschangements________________________________ 16ü 2èmeétape:Suivideschangementsetanalysedesinformationscollectées __________________________ 17ü 3èmeétape:Ajustementdesoutilsdesuivietdesactivitésenfonctiondesanalyses___________________ 18

Applicationpratique. _____________________________________________________________________20CalendrieretdéroulédusuivideschangementssurunprogrammeErasmus+spécifique_____________________ 20

Calendrierindicatifdudispositifdeplanification,suivietévaluationorientéchangement___________________ 20Déroulédeladémarche._______________________________________________________________________ 21

Lesoutils: ____________________________________________________________________________________ 23Lecarnetdebord(logbook)____________________________________________________________________ 23UnJournaldebordfactice _____________________________________________________________________ 25Guidepourquestionnerdesparticipantssurleschangementsobservés. ________________________________ 27Lejournaldesuivideschangements _____________________________________________________________ 29Exemplesd’unesynthèsedeschangementsobservésàl’issued’unprogrammeErasmus+__________________ 31

Bibliographie ______________________________________________________________________32

Page 3: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

3

PréambuleCeguideestissudel’appuiconseilduF3Econcernantlesuivietl’évaluationdeschangementsproduitsparunprogramme Erasmus + KA2 intitulé «préparer les métiers de demain en milieu rural» regroupant despartenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des MaisonsFamilialesRuralesd’Educationetd’Orientation.LeF3E

Créé en 1994, le F3E (www.f3e.asso.fr) est un réseau pluri-acteurs composé d’une centaine d’ONG, decollectivités territoriales et d’établissements publics de santé français. Sa mission consiste à améliorerl’évaluation,l’impactetlaqualitédesactionsdecoopérationetdesolidaritéinternationale.Aceteffet,leF3Edéveloppedesactivitésderenforcementdescapacitésutilesàl’analyseetaupartagedespratiques.Ilcontribueaussiauxdébatsstratégiquesetpolitiquesauseindusecteur.Depuis2014,leF3Eexpérimenteauseind’unprogrammederechercheactionlesapprochesdesuiviévaluationde programmes de coopération dites «orientées changements». L’UNMFREO, adhérente au F3E, est partieprenantedecetteexpérimentation,qu’elleasouhaitéétendreendéveloppantcetypedesuivi-évaluationàundes programmes Erasmus + qu’elle mène. Le programme en question porte sur le repérage des besoins encompétencesdanslesterritoiresruraux.Lepartenariatstratégique«Préparerlesmétiersdedemainenmilieurural»

Lepartenariatstratégique(action-clé2duprogrammeErasmus+)intitulé«Préparerlesmétiersdedemainenmilieurural»estdéposéparl’UNMFREOetcompteplusieurspartenaireseuropéens: laFédérationRégionaledesMFRdeMidi-Pyrénées,CentreforLEADERProgrammeandAgriculturalTrainingMethodology(PLZMMC)enLituanie, Scuola Centrale Formazione en Italie, Salford City College au Royaume-Uni et Greek ScientificAssociationofTherapeuticRidingandHippotherapy (GSATRH),associationnationaled’équithérapieenGrèce.L’UnionNationale desMaisons Familiales Rurales regroupe 430 établissements de formation, 71 fédérationsdépartementales,régionaleset1centrenationalpédagogique,impliquésdansledéveloppementterritorialetlaformationprofessionnelledes70000personnesforméeschaqueannée.Cesdernièressontliéesaumilieururaletsouventisoléesgéographiquementvoiresocialement(JeunesAvecMoinsd’Opportunités).Lechampd'actionde l'Union est national et son domaine d'intervention touche aux questions liées à la famille, la jeunesse, laruralité, l'économiesocialeetsolidaireet la formationprofessionnelle.Chacundespartenairesœuvrepour laformation et l’insertion des jeunes, au travers de la formation professionnelle et notamment dans lemonderural. Bien que les situations diffèrent selon les particularités de chacun des pays partenaires, nous pouvonsnoter un ensemble de points communs qui mène à un questionnement partagé : quelle formationprofessionnelledanscemonderuralenmouvance?Commentcontinueràassureruneconcordanceformation-emploi:quelssontlesnouveauxmétiers, lesnouvellescompétencesdontlesterritoiresontetaurontbesoin,commentdévelopperdenouvellesapprochesdidactiquesetadapterlesparcoursdeformationetd’insertion?

Ce questionnement s’inscrit dans une volonté d’amélioration des formations proposées pour renforcer lescompétencesencohérenceaveclastratégiedel’Europe2020.Leprojetviseaussiàfaciliterlerecrutementdejeunes par les entreprises en proposant des parcours de formation adaptés aux besoins respectifs, dansl'optiqueducommuniquédeBruges.

Si les bénéficiaires finaux de ce projet sont les jeunes, les participants à ce projet sont les membres desorganismes partenaires : les directeurs de structures d’appui à la formation professionnelle, les chargés de

Page 4: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

4

missionmobilitétransnationale,lesformateurs,lesmaîtresdestageentantqueprofessionnelsimpliquésdanslesparcoursdeformation.Laproductionfinaleaprislaformed'unguideméthodologique.

Ledéroulementdupartenariatstratégique.• 1ère activité en France, en septembre 2014 : Lancement du projet et de la 1ère étude sur le thème del'activité2etsuivied’uneEtapederecherche,collectededonnéesparchacundespartenairesdanssonpayssurlethèmedel'activité2.Evénementdedissémination.

•2èmeactivitéenGrèceenfévrier2015:"Lesparcours,révélateursd’insertionetdenouveauxmétiers":Miseen commun, analyse des données, Visites d’étude et interventions, Synthèse et rédaction d’un rapport,Préparationduthèmedel'activité3.EvénementdedisséminationpuisEtapederecherche,collectededonnéesparchacundespartenairesdanssonpayssurlethèmesurlethèmedel'activité3.

•3èmeactivitéenLituanie,enseptembre2015:"Lesecteurprofessionnel,unevisiondesnouveauxmétiers"sur le même modèle que la précédente avec Etape de recherche, collecte de données par chacun despartenairesdanssonpayssurlethèmedel'activité4.

•4èmeactivitéenItalie,enfévrier2016:"Leterritoirerural,desbesoinsdenouveauxmétiers"puisAnalyse,synthèsedesdonnéesetrédactiond’unguideméthodologiquepourl’identificationdesmétiersémergentsdanslemonderural

• 5ème rencontre : Conférence finale en France en juillet 2016 sous forme d’une université itinérante desterritoiresruraux:

- Restitution des données et analyses issues des 3 programmes intensifs et présentation de laproductionintellectuelle:leguideméthodologique.

-Interventionsd’expertsayanttravaillédansuneapprocheprospective:avenirdesterritoires,métiersémergentsetcompétencesdedemain,jeunesseruraleettrajectoiresprofessionnelles).

- Travaux collectifs thématiques sur la base d’axes stratégiques identifiés pour des leviers dechangement,d’optimisationdelaformationprofessionnelle.

-Grandfinal:disséminationfinale

L’impact attendude ceprojet estdeplusieursordresmais il constitue lapremièreétaped’une collaborationentre lespartenaires,d’autrespartenariatssurdesquestionnementscommunssuivrontets’étendrontaussiàd’autres puisque les résultats sont transférables. Chacun des partenaires aura acquis uneméthodologie despartenariatsstratégiqueset ilspermettrontàd'autresdes'y intégrer.Lemétierde« formateur»»enmilieururalévoluerapour:

-Développerladimensioneuropéennedesformations,-Faciliterlaprised'initiativedesjeunesetélargirleurspossibilitésd'emploi.-Améliorer laqualitédes formationspar l’adéquationentreemploiet formationsurchaqueterritoiremaisaussiauniveaueuropéen.

Page 5: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

5

Ledispositifdeplanification,suivietévaluationdesMFRdanslesprogrammes

Erasmus+

Page 6: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

6

Cequisefaitdéjà

Depuis le début de leur engagement dans les programmes européens, les MFR ont inclus un travailméthodologiquesurl’évaluationlorsdechaqueprogrammeengagé.Depuis2014,ellespartagentcesquestionsauniveaunational,àpartirdesexpériencesdechaquerégion.

Aucoursdeprogrammesantérieurs,l’UNMFREOetlesfédérationsontcommencéàexpérimenterdesoutilsdesuivi-évaluationpourmesurer les indicateursdesuivi,d’effetetd’impact.ConcernantdesactionsdemobilitédesMFR,chaqueannéelesréférentsmobilitésrenseignentdesfichesenligneoudesquestionnaires(mobilitytool,rapportdeparticipant)quicontribuentàalimenterlesrapportsintermédiairesetfinaux.Ilspermettentparexemple de connaître le nombre de jeunes en mobilité, mais aussi le type de stage et les contenus… Lacomparaisonsurplusieursannéesdonneunevisiondes tendancesde fond. Les rapportsdesparticipants, lesrapportsfinauxetintermédiairesdesfédérationsetdesMFRconstituentunesourceprivilégiéed’informationssurlaqualitédesmobilitésmaisaussisurlesrelationspartenariales(particulièrementautourdelaquestiondelaqualitédesstages),lesactivitésmenées,laforcedel’engagementdesacteursetlesrelationsauterritoire.

Evaluationdesapprentissagesmutuels

Ledispositifdeplanification,suivietévaluationquisemetenplaceviseàinclureunemeilleureévaluationdesapprentissagesmutuels.Ilpasseparlerenforcementprogressifdeladimensionparticipativeetladiversificationdesméthodesd’évaluation.Cette approchepermetdemieuxapprécier lesdynamiques sociales à l’œuvreetséparer redevabilité et apprentissage, les deux étant nécessaires. La redevabilité s’entend auprès despartenairestechniquesetfinanciersmaisaussiauprèsdespersonnesbénéficiairesdesprogrammesdemobilité.L’apprentissagerelèvedelaquestiondeschangementssystémiquesetdurables.

DeschangementssystémiquesetdurablesLesprogrammesErasmus+fontprécisémentappelàl’évaluationdeceschangementssystémiquesetdurableset se préoccupent de la pérennisation des acquis plus que des activités : processus de renforcement decapacités,d’appuiàlaconcertation,d’approcheetdetravailintercultureloudetravailcollaboratif.Unoutillageclassiquequantitatifcentrésurlesactivitésestpeuadaptéensoipourmesurercesderniers.

ExpérimentationdeméthodesinnovantesenMFRCes processus de long terme sont centrés principalement sur les acteurs : changement de pratiquesprofessionnelles, de comportement, de relations entre acteurs. Dans ce cadre, les outils et méthodes depilotage du programme doivent s’adapter au fur et à mesure pour permettre de mieux mesurer leschangements à l’œuvre. L’UNMFREO fait partie d’unprogrammeappelé «PRISME» et coordonnépar le F3Epourcesraisons.LesMFRontcommencéàexpérimenterdesméthodologiesinnovantesquiaidentàasseoirlesactionssurunevisionpolitique,àévaluerlaréalitédeleurmiseenœuvreetd’enrendrecompte:cartographiedes incidences, théories du changement. Les acteurs du programme souhaitent inclure cette analyse desprocessuseteffetsencomplémentdudispositifdeplanification,suivietévaluationclassique.

Afin de mieux qualifier les éléments de réponse aux questions de fond sur l’insertion des publics, ledéveloppementterritorialet l’engagementcitoyendes individusetdesorganisations,desoutilssontencoursd’élaborationavecleF3E(f3e.com)auseindupartenariatstratégiquecoordonnéparl’UNMFREO«préparerlesmétiersdedemainenmilieurural»pourenrichirledispositifdeplanification,suivietévaluation.

Page 7: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

7

Leprésentguideapportedesélémentsdeméthodeetproposeunoutillagedontvoici2exemples:

JournalduchangementLepremieroutilestun«journalduchangement»quipermetdequalifieràlafoislesquestionsdechangementsmajeursinduitsparcesprogrammesetdeleslierauxactivitésquiyontcontribué.Cetoutild’auto-évaluationpermetdesusciterledialogueaveclesacteursconcernés,depréciserlesgrandesévolutionsetlelienaveclesactionssurunepériodedonnée.SonutilisationrégulièreestappréciéedesacteursdesfédérationsetdesMFRquil’ontdéjàtesté.Ilesttrèsfaciled’accèsetpeutêtreutiliséavectouslespublics,sousréservedel’animerunpeuaveclesplusjeunes.Uneréflexionestencourssurlefaitdel’adapterpoursuivreplusprécisémentl’impactliéauxprogrammesdemobilité.L’UNMFREOseproposed’accompagnerlesfédérationsporteusesdeprojetàcesujet.

JournaldebordetfeuillederouteUneexpérimentationaégalement lieuavecun«Journaldebord»etune«feuillederoute»,plutôtdestinésaux référents mobilité en MFR ou en région. Le premier est basé sur le témoignage spontané vis-à-vis dechangements observés et prend de plus en plus de valeur au fur et à mesure des entretiens (à différentsmomentsouavecdifférentsacteurs).Ilinclutégalementunepartiesurlacapitalisation.Lafeuillederouteestégalement un outil très simple qui permet de planifier les activités dans le temps et de responsabiliser lesacteurs.Unepartiesur lesuividecesactivitéspermetd’ajusterrégulièrement la lignedeconduite.Cesoutilssontencoursd’évolutionetpourraientêtreintégrésouadaptésenfonctiondesacteursetdessituations(suividesorganismesd’accueild’uneannéeàl’autre,parexemple)

QualifierlesImpacts:lesenjeux

Surlesquestionsliéesàl’équitédeschancesetàl’insertionprofessionnelleEnsepréoccupantdelaformationdesjeunesruraux,leprogrammeauradetouteévidenceunimpactfortsurlapromotiondel’équitédeschancesetdel’insertionprofessionnellecarc’estunepopulationsouventdéfavoriséeenmatièredemobilité.LesétudesmenéesparlesMFRmontrentquelesfamillesdontlesjeunesviennentseformeràlaMFRsontengénéralderevenusmodestes.

Leprogrammeviselamiseenœuvred’unserviced’éducationetdeformationdequalitédansleszonesruralessouvent délaissées et où parfois aucune autre offre n’existe. L’action desMFR contribue ainsi à réduire lesinégalités territoriales, tout en cherchant un lien équilibré entre ville et campagne, par exemple par ledéveloppementdemobilitésentredesterritoirestrèsdifférentscommedescapitaleseuropéennes.

PourlesMFRetlafédérationL’implication desMFR françaises dans des actions de coopération internationale et demobilité européennedepuisdenombreusesannéesapporteuneplus-valueàlafoispourlesindividusquis’yinvestissent,maisaussisur le positionnement des MFR que ce soit au niveau local ou national. Cela contribue à renforcer lepositionnementdesadministrateursdesMFRdeFrance,celuidesFédérationsetde l’Union. Ladémarchedepartenariatseuropéensautourdelamobilitéestunoutilprivilégiédeprofessionnalisationetd’ouverturepourles équipes qui prennent du recul sur leurs pratiques et se forment au contact de leurs homologues. LechangementdeposturedelapartdespersonnesengagéesdanslesFédérationsfrançaisesquantauxcertitudesou aux craintes que peut générer la société en France est flagrant. Ce changement contribue très souvent àredonnerde l’énergieaumouvement françaisetàalimenter lesprojetsassociatifsavecdesambitionsquinecontredisentpaslepositionnementdecontributionauxpartenariatsétablis.

Page 8: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

8

PourlespartenairesdesMFRLesorganismespartenairessontégalementlesciblesduprogramme.Encesens,leprogrammeaurapoureffetsde les renforcer en compétences et en capacités pour qu’ils gagnent en efficacité en tant qu’acteur de lacitoyenneté européenne et du dynamisme économique européen (par les compétences liées à l’accueil destagiaireseuropéensparexemple).

Les impacts se situentauniveaude l’améliorationde laqualitédes formationsetdu lienavec les réalitésdutravail mais aussi sur la force de conviction de l’associationMFR en contribuant à faire vivre son projet demanière ambitieuse. Concernant les partenaires territoriaux et l’appui de la fédération, le programmepermettradeconsoliderlesexpériencesdecollaborationetderenforcerleursexpériencesinternationalesdanslespaysoùilsserontamenésàintervenir.

Page 9: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

9

CommentsuivreunprogrammeErasmus,au-delàdesactivités?

LesprogrammesErasmus+ favorise lesprojetsdemobilitéetdecoopérationenEuropeafinderenforcer lescompétences de tous pour unemeilleure employabilité, de soutenir l'innovation au sein d’établissements etd’organismes d'éducation et de formation et leur internationalisation, de promouvoir une utilisationtransparenteetcohérenteauniveaueuropéendesoutilsdereconnaissanceetdevalidationcompétences,defavoriserlacoopérationentrepayseuropéensetnon-européens.Ce type de programme identifie, comme le précise le guide «Diffusion et impact dans les projets scolairesErasmus+1»,troistypesd’impactprincipauxpourdesprojetssoutenus:

• Impactssouhaitéssurlesindividus,• Impactssouhaitéssurlesorganismes,• Impactssouhaitéssurlessystèmes.

Source:https://www.agence-erasmus.fr/docs/2311_guide_diffusion_impact_sco_web-final.pdf

Lesporteursduprojetontlesoucidepenser,enamontduprojet,auxchangementsauxquelsilssouhaitentqueleur projet contribue et développent des actions en conséquence. Reste ensuite à suivre et évaluer ce quegénèrentcesactions:Quelschangementssontgénérésparleprogramme?Commentsuivreleseffetsdecelui-ci, au-delà du suivi des activités, pour pouvoir le réajuster si nécessaire.Ce suivi, plutôt qualitatif deschangementsauquelleprogrammecontribuesontsouventd’élémentsdontl’évolutionestdifficileàsuivreetàmesurer.Les «approches orientées changement» sont un ensemble d’outils et de méthodes qui visent justement àaccompagnercespréoccupations:cesapprochesfacilitentlaplanification,lesuivietl’évaluationdesactionsàl’aunedeschangementsauxquelsellessouhaitentcontribuer.

1http://ec.europa.eu/programmes/erasmus-plus/resources_fr

Page 10: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

10

Suivreles«changements»,enthéorie.

Page 11: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

11

Quelestl’intérêtdesuivreles«changements»?

Lesuivideschangementsapourintérêt:

→De compléter le suivi classique tel que indicateursde résultats, suivi des activités: il permetd’enrichirl’aperçudeschangementsauxquelsacontribuéleprogramme,au-delàdesrésultatsquantitatifs.Lacontribution des projets Erasmus + ne se résume pas au nombre d’échanges organisés. Le suivi deschangementspermetd’explorercequelaformationacontribuéàfaireévoluerchezles individus,auseindesorganismesetpluslargementauniveaudessystèmes.

→ D’aborder – de façon réaliste – l’évaluation de l’impact de programmes complexes; cesapproches ciblent les acteursplusque les actions. Ellespermettentd’analyser les enjeuxpour les acteurs enprésencepoursaisirplusprécisémentl’enverguredeprogrammecomplexeetpluri-acteurs.

→ De revenir aux finalités profondes de son action. Les programmes ont souvent des objectifsassez techniques (ex.: renforcer lescapacitésdetelacteur).Lesapprochesorientéeschangementpoussentàformaliserdavantagelaraisond’êtredecesactions,leschangementsquel’onenattendconcrètementetleursfinalitésstratégiquesàlongterme;

→D’apporterdesprécisionssur lerôledechacun,et lamanièredesuivreensemble leseffetsdenosactionscommunes.Cesapprochesdanslecadred’Erasmus+aidentaussiàobserverlacollaborationentreles organisations porteuses du programmeet à faire ressortir la dimension européenne du programmepourmieuxaccompagnercetteconstruction.

Cetteapprochecomplètelagestionparlesrésultatsplusclassique.La logique «projet» est adaptée pour programmer, suivre et évaluer la mise en œuvre d’activités et lesréalisationsdirectes.Pouranalyserlechangement,ilfautlecompléteravecd’autresoutilsetméthodes.

Lalogique«projet»

• S’appuie sur une analyse des problèmesAssume des relations de cause à effetlinéaires.

• 4étapeslogiques:activitésarésultatsaeffetsaimpact.

• Centrésurleprojet

Lalogique«changement»

• Partd’unevision«positive»duchangement• Proposeunepenséelogique,maisnonlinéaire• Autant d’étapes que nécessaires, qui

s’interconnectent,progressentoureculent…• Inviteà réfléchirplus largement le contexte,au-

delàduprojetsimple.

Page 12: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

12

4idéescléspourappréhender«lechangement»Idée1 :Cequ’on appelle « le changement» est unprocessus, de nature complexe. Le changement estune nouvelle situation, qui résulte d’une combinaisonde différentes évolutions, petites ou grandes, dues àdes interactions entre différents acteurs et facteurs(politiques,infrastructures,...).Ces changements peuvent être soit éphémères, soitplus structurels. D’autres changements interviendrontensuite:c’estunprocessusenperpétuelleévolutionIdée 2 : Le processus par lequel se produit lechangementestcomplexe,danslamesureoùilestlefruit d’interactions diverses. Il n’est pas linéaire etdifficilementprévisible.

Un changement est généralement le produit d’une combinaison de plusieurs facteurs : des acteurs quiinteragissent,uncontexteparticulieràunmomentdonné... Levoted’une loi,parexemple,peutêtre le fruitd’unecombinaisondeplusieurs facteurs : l’évolutionprogressivedesmentalitésd’unepopulation, laprisedeconscience d’un gouvernement, la volonté d’une personne charismatique qui porte l’idée, la conjonctureinternationalequifacilitecetteprisedeconscience,etc.Lamultiplicitédecesinteractionsfaitqu’ilestsouventdifficiledelesidentifiertoutes.Idée3:L’appréciationduchangementestsubjective.Elledépenddel’observateur,deslunettesaveclesquelleson regarde le changement et de l’échelle à laquelle on s’intéresse. Le regard porté sur le changement estconditionnéparlaculture,levécudesindividus(leurshistoires)etdesgroupes(organisations,institutions),parleurscontraintesetleursattentesentermesdechangement.Dansun contextedonné, il y a toujoursunediversitéd’acteurs (individus, groupesd’individus, organisations,institutions...)qui interagissent.Chacund’euxestporteurd’attentesetd’espoirsqui lui sontpropres.Chacund’euxpeutalorsavoiruneperceptionduchangementdifférentedecelledesautres–tantsur lafinalitéviséequesurlamanièred’yparvenirChaqueacteurpeutavoiruneperceptiondifférenteduchangement.Cesdifférencespeuvents’exprimersurl’importanceetlavaleurduchangement,sonobjetouencoresonéchelle.Idée4 :Uneaction,unprojetpeutcontribueràunprocessusdechangement.Lacomplexitéduchangementfaitquel’onnepeutpasattribuersaréalisationàunseulfacteur–pasplusàcetteinterventionqu’àunautrefacteur.Onnepeutpasanticiperaveccertitudel’évolutiondecesprocessus.

Page 13: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

13

LesApprochesOrientéesChangement:AOCqu’est-cec’est?

UnediversitédeméthodesIlnes’agitpasd’uneméthodologiedonnée:Iln’yapasUNEapprocheparlechangement,maisunediversitédeméthodeset,surtout,unecréativitéàdévelopperpourbâtirSApropreméthode.Cetensembledeméthodesseretrouveautourdeprincipescommuns,d’unmême«esprit»:

■ Elles s’affranchissent de la linéarité. En effet, lorsque l’on se projette à long terme, on ne peut pasraisonnerdefaçonmécanique(«sinousfaisonsceci,alorsilsepasseracela»).Lesapprochesorientéeschangement intègrent l’incertitude: les chemins de changement ne sont pas construits dans unelogiquede liensde causeàeffet, et lesoutilsdeplanificationet suivi-évaluation facilitent lapriseencomptedel’imprévuaufuretàmesure.

■ Ellesamènentà sedécentrerde sonprojetpour regarderplus largement l’évolutionducontexteoùl’on intervient et dans lequel on n’est qu’une pièce du puzzle (le projet n’est pas nécessairement leprincipalmoteurduchangement).Lepointdedépartdel’évaluationestdonclechangement,etnonleprogramme.

■ Elles permettent une mise en perspective stratégique. Les approches orientées changement neremplacentpaslagestiondeprojeteffectuéeàl’aideducadrelogique.Elleslacomplètentsurl’analyseduchangement,avecuneperspectivedelongtermeetuncadrefacilitantdavantagel’apprentissage.

■ Passer de l’action à l’acteur: changement de perspective? Les approches orientées changementvéhiculentuneconviction:lesacteurssontlefondementduchangementsocialetdesapérennité.Siuncontexte évolue, c’est d’abord parce que les acteurs eux-mêmes (personnes, groupes, organisations,institutions, réseaux) évoluent: dans leurmentalité, leurs comportements, leurs façons de travailler,leurs relations entre eux … Et ce sont ces évolutions chez (ou entre) les acteurs qui garantissent ladurabilitédeschangementsducontexte.

■ Au-delàdelaméthodologie,lesAOCcomportentunedimensionstratégique.Ellesinvitentlesacteursimpliquésàs’interrogersurleurvisiond’unfuturcommunetsurleurspositionsrespectives.

Prendre en compte ces évolutions d’acteurs, et tenterd’agirsurelles,estdoncunepriorité.Cepointdedépartimpliquedetransformerlamanièredepenserlesprojets:

■ dans lediagnostic de départ, enmettant l’accent

sur une analyse approfondie des acteurs: leurinfluencerespective,leursrelations…

■ dans laplanificationdesactivités,en laconcevantcomme une contribution spécifique auchangement,auxcôtésd’autresacteurs;

■ dans lesuivi-évaluation, en seconcentrant sur leschangements advenus plutôt que les simplesrésultatsdenosactions.

Page 14: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

14

Unedémarcheenquatretemps

Ces tempspeuvent être réalisés dans l’ordreprésenté ci-aprèsoudansun autreordre, toutesou seulementcertaines, selon les spécificités des projets et programmes. Ces étapes prennent tout leur sens lorsqu’elless’effectuentdefaçoncollective,aveclesacteursassociésauprogramme.

LECONTEXTE:Identifierlesfreinsetleviersdansnotreenvironnement.

Analyselecontexted’hieretd’aujourd’hui:lesfacteurspositifssurlesquelsonpourras’appuyerpourfairechangerleschoses,etlesfacteursnégatifsaveclesquelsilfaudracomposer–ouqu’ilfaudrafaireévoluerfavorablement.

LAVISION:fixeruncapverslequelonveutaller,àlongterme.

Amenerungroupeàseprojeterdanslefutur,pourdéfinirunevisioncommuneduchangementsouhaitépar lesdifférentsacteursdecegroupe.Définirensemble lasituation idéaleà laquelle ilsaspirentetpourlaquelleilssouhaitentunirleursforces.

LESCHEMINS:Tracerdescheminspourallerverslavision.

Il s’agit d’identifier les «chemins» pour aller vers la vision. Chaque chemin est un ensemble de petitesétapes, de changements intermédiaires nécessaires pour que la vision se réalise. Une possibilité est dedécrirelesévolutionsgraduellesenvisagéespourchaqueacteurducontexte.

On réfléchit ensuite à la contribution du programme/projet à ces différents chemins, c’est-à-dire à lamanièredontilpourrainfluersurcesconditionsnécessaires,auregarddesescapacités.

LESUIVI:Suivreetréajusternotrechemin.

Lesdeuxétapesprécédentesconsistaientàseprojeterdanslefutur.Ils’agitàprésentdesuivrel’évolutionréelleducontexte,aufildutemps.

Pour cela, on peut se référer à des indices qui nous permettront de suivre l’évolution des différentschangements identifiés, mais aussi prendre en compte des changements imprévus. Ce suivi permetd’adapterlescontoursdesoninterventionetd’ajusterlescheminsdechangementauvudelaréalité.

Pourdesoutilsd’animationdecestempsetplusd’informationreportez-vous

- auguideAgirpourlechangement- ausiteduF3Ewww.f3e.asso.fr

rubrique«BoiteàoutilsPrisme

Page 15: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

15

Enpratique,commentprocéder?

Page 16: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

16

Ladémarche:

Ladémarchepeuts’adapteraubesoinduprogrammeetplusieursentréess’offrentàvous.

Démarrerparunatelierchemindechangement

Ils’agitalorsdetenirunatelieravecunpublicreprésentatifdespersonnesimpliquéesdansleprogrammeafindedéfinirensemblelavisionduprojet,analyserlesacteursconcernésetleurs«étapesdechangement».Cesélémentspermettrontdepenseràlafoislesactivitésàmettreenœuvreaucoursduprogrammeetledispositifquipermettradesuivreleschangementsetderéajusterlesactivitésenfonctiondeschangementsobservés.

Pourmener ce type d’atelier, voir le site du F3Ewww.f3e.asso.fr rubrique «Boite à outils Prisme». Vous ytrouverezdesfilms,desdéroulésd’atelieretdesfichesoutilspourpenseretanimercetyped’atelier.

Entrerdirectementparlesuivideschangementsetleréajustementdesactivités

Il s’agit pour l’équipe du programme de se doter d’outils d’observation des changements, sans définir aupréalable les acteurs ou les changements auxquels le programme souhaite plus spécifiquement contribuer.L’idée est alors de se donner le temps d’observer les évolutions du terrain et de les analyser, sans lesprédéterminer.Cette façon de procéder propose d’effectuer le chemin inverse de l’entrée précédente: les changementsobservéspermettentd’identifierlesacteursimpliquésetlesleviersetfreinsdechangemententempsréel.Ilestpossibleensuitedemodéliserunchemindechangementpourchaqueacteuretdesdéfisdechangement.Cetteétapecorrespondàlapartie«élaborationetmiseenœuvredudispositifdesuiviévaluation».Ellepeutsedéroulerentroisétapesprincipales:

• 1èreétape:Choixdudispositifdusuiviévaluationdeschangements.• 2èmeétape:Suivideschangementsetanalysedesinformationscollectées.• 3èmeétape:Ajustementdesoutilsdesuivietdesactivitésenfonctiondesanalyses.

ü 1èreétape:ChoixdudispositifdusuiviévaluationdeschangementsAucoursdecetteétape,leprogrammevasedoterd’undispositifdesuivideschangements.Pourcela,unéchangeentrelesresponsablesduprogrammedoitpermettrederépondreauxquestionssuivantes:

■ Queveut-onsuivreetpourquoi?■ Quels sont les outils et moments de suivi existant au sein des organisations et du

programme?■ Identifierlesacteursconcernésparlacollecter:

o Quicollectequoietcomment?o Quitraitelesinformationscollectées?

■ Quelleestlatemporalitépourlacollecte,letraitementetleréajustementdesactivités?Exemple:Danslecadred’unprogrammeErasmus+KA2,lesresponsablesduprogrammeontchoisideremplirun«logbook»,carnetdebordqu’ilsontmisencommunàchaquerencontre,c’est-à-direquatrefoisaucoursdesdeuxannées (enannexede ceguide); il permetde seposer régulièrement laquestiondes changementsobservésetd’engardertrace.

Page 17: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

17

ü 2èmeétape:SuivideschangementsetanalysedesinformationscollectéesLechangementestunprocessus,ilfautluilaisserdutempspouradvenir.Les«observateurs»duchangementsedonnentdoncdesplagesde tempsdeplusieursmoisavantdemettreencommun leursobservations. Lesmoments de rencontre permettent d’échanger et de mettre en commun les changements observés etd’analyserlesévolutionsliéesauprogramme.

Exemplededispositifdesuiviévaluation:Un journalde suivi des changements (présentéenannexe)est renseigné régulièrementaumoyend'outils decollectescomme:

• desquestionnaires,• desgrillesd’observation,• desgrillesd’entretien,• desgrillesd’animationdefocusgroupe;

L'outil doit être adapté au public qui l'utilise: Ainsi une organisation intervenant auprès de public scolaire adéveloppéunegrilled’observationtrèsspécifiqueautourdelaprisedeparoleenpublic:est-cequelapersonneprend la parole en public uniquement lorsqu’on l’interroge, pour donner son avis au cours d’un débat,spontanément…Exempled’animationpourcollecterdeschangements:En introduction d’une rencontre internationale, les participants sont invités à partager ce qui pour euxreprésente les changements les plus significatifs ayant eu lieu au sein du programme. Chacun est invité àtémoigner et les autres participants à poser des questions pour mieux saisir ces changements attendus ouinattendusetleursdéclencheurs.Cettefaçondedémarrerunerencontrepermetdeprendredesnouvellesdechacuntoutencollectantdesélémentsimportantsconcernantleschangements.Ils’agitdemomentssouventtrèsriches,aucoursdesquelslaparolecirculeassezlibrement.Ilfautprévoirdegarderunetraceécrite:cetourdetablepermetensuiteàchacunderemplirle«logbook».

AuseinduprogrammeErasmus+KA2:Ilestressortiqueleprogrammecontribuaitàdeschangementsdansquatredimensions,dimensionsquisemblentpouvoirsetransposerpoursuivrel’ensembledesprogrammesErasmus+.Ils’agitdechangementsconcernant:

• Lescurriculumsdeformation,• Letravaild’équipeauseindesorganismesdeformation,• Lacoopérationinternationale• Lescompétencesdeviedesjeunes

L’idéeestalorsdepréciserleschangementsquelesdifférentesorganisationsobservent:ils’agitd’objectiverleschangementsobservésenlescaractérisant.Ils’agitdeseposerlesquestionssuivantes:

• Qu’est-cequej’observe?

. 1.Définirpourquoifairedusuivi-évaluafonetàquicelavaservirenpriorité.

. 2.Idenffierlesacteurset/ouchangementsàsuivre:fairedeschoix.

. 3.Définirlesmodalitésderecueildesinformafonscomptetenudel'existant.

. 4.Sedonneruncadredesuivi:temporalité,rôle,...

Construireundispositifdesuiviévaluation:4étapesdanslaréflexion.

Page 18: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

18

• Commentjel’explique?• Qu’est-cequecelam’apprend?

Exemplesdechangementobservéàcaractériser:

1) Quelqu’un fait remarquer qu’il a observé une plus grande implication des enseignants dans leur travaildepuisledébutduprogramme.L’ensembledesparticipantssembled’accordaveccechangement.Ils’agitbiend’unchangement,seulementiln’estpasexplicité:qu’estcequifaitdirequelesenseignantssontplusimpliqués? Comment décrire un enseignant impliqué? Comment peut-on saisir l’implication d’unenseignantdanssontravail?

2) Unepersonnerapportequ'unchangement inattenduestqu'elleaété invitéeàuneréunionà laquelleellen'avaitjamaisétéconviée,paruninterlocuteurquinelareconnaissaitpas.Toutel'équipeseréjouiedecettenouvellereconnaissanceduréseau.Encreusant,dequestionenquestion,onréalisequecettepersonneaétéinvitéetoutàfaitparhasard.

ü 3èmeétape:Ajustementdesoutilsdesuivietdesactivitésenfonctiondesanalyses

Enfonctiondecequiressortdel’analysedeschangementsobservés,ilestpossiblededéciderd’accentuerouaucontraired’allégerl’uneoul’autredesactivitésafinderenforcercertainsaspectsetainsidecontribuerplusfortementauxchangementsquiintéressentleprogramme.

PointsdevigilancePrivilégierlapolitiquedespetitspas.Tester le suivi des changements sur un périmètrerestreintafindevousfamiliariseraveccetteapproche.Ilseratoujourstempsd’élargirvotrepérimètreparlasuite.Collerautempsetauxmoyensdesonprogramme.Eviter les dispositifs de suivi-évaluation quidemandent des temps et des moyenssupplémentaires. Préférez les moments existantsd’échangesetlesprocéduressimples.Eviterlesoutilsetprocessuscompliqués;

Peut-onfacilementenvisagerl’utilisationdecetoutil?Est-il adaptéà l’usagedespersonnesqui vontdevoirl’utiliser?

Favoriserdesdynamiquescollectivesdansladurée.Penser à l’implication de chacune des partiesprenantesau filduprogramme:quelest leurniveaud’implication, leur intérêt à suivre et être associé àcetteréflexion.

Page 19: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

19

Mementodel’accompagnateurduchangement

Lesacteurssontporteursdevisionsduchangementquis’exprimentdanslaconceptionetlamiseenœuvredeleursactions.S’ouvrir à l’observation des changements attendus et inattendus permet d’apprendre des processus quiconduisentauchangement.Impliquer les acteurs concernés par le changement dans l’analyse de celui-ci est, pour eux, vecteur derenforcement.Penser en termes de changement, plutôt qu’en termes d’activités ou de résultats, implique une véritabletransformationdans l’approchedudéveloppement.Au-delàdesoutils, c’est l’esprit dans lequel onutilise lesméthodesmisesàdispositionquicompte.

Page 20: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

20

Applicationpratique.

Lesapprochesdesuivi,évaluationetplanificationorientéeschangementsontàadapterauprogrammequilesdéploie.Ilyadoncdenombreuxoutils,spécifiquesàchaquecontexte.

Cette partie du guide propose des outils pratiques développés au cours d’un programme Erasmus +: lecalendrier de déploiement de la démarche, des outils développés dans le cadre d’un programmeErasmus +,vierge et remplis à titre d’exemple. Le dernier document partage les changements identifiés au sein de ceprogramme.

CalendrieretdéroulédusuivideschangementssurunprogrammeErasmus+spécifiqueLeprogrammeErasmus+quiaexpérimenté lesuivideschangementsestunprogrammeKA2regroupantdespartenairesfrançaise(UMFREO),italien,anglais,lituaniensetgrecs.IlportesurledéveloppementdedébouchésprofessionnelsenzoneruraleLeprogrammes’estdéroulésurdeuxansetapermisdesregroupementsdespartenairestousles6mois.

• TO:Rencontredelancementduprogramme:sensibilisationausuiviévaluationorientéchangementetdéfinitiond’untypedesuivi.

• T 1 (à 6mois): 1er regroupement: Présentation du journal de suivi des changements /logbook àl’ensembledescoordinateurs.

• T2(à1an):partagedescontenusdeslogbooketsimplificationdesoutils.• T3 (à 1anet demi): temps collectifs d’échanges sur les avancéesduprogrammeet identificationde

catégoriesdechangement.• Etainsidesuitejusqu’àTdeclôture.

Calendrierindicatifdudispositifdeplanification,suivietévaluationorientéchangement

mois 0 3 6 9 12 15 18 21 24

T0 T1 T2 T3 T4

Tempsderencontres

événement kickoff 1ercopi

2ecopi…analysepour

rapportintermédiaire

3ecopi… derniercopi:bilan

activité choixduDPSE

outilsprésentésetdiscutés,validationdudispositif

partagededonnéesetanalyse,

capitalisation

partagededonnéesetanalyse,

capitalisation

synthèsedeschangementsinduitsparleprogrammeindividus,structures,systèmes

outils journaldebordenbilancopi

journalde

bordenbilancopi

journalde

bordenbilancopi

chaqueorganisme,entrelessessions

activité test:collecte

interview,collectesdeschangements

parlecoordinateur

interview,collectesdeschangements

parlecoordinateur

interview,collectesdeschangements

parlecoordinateur

outils logbook(carnetdebord)suivi

journaldeschangements journaldes

changements journaldeschangements

Page 21: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

21

Déroulédeladémarche.

TO:Choixdudispositifdusuiviévaluationdeschangements.Lors de la première rencontre du programme, les partenaires s’accordent sur l’intérêt de suivre leschangements etoptent pour l’utilisation, dans un premier temps, d’outils «d’observation non dirigée». Laméthodes’inspiredelatechniquedu«changementleplussignificatif»,méthodequisebasesurunesélectionde témoignages/récits de changements recueillis auprès des acteurs d’une intervention, que ces acteursestimentparticulièrementsignificatifs.Pourallerplus loinsurcetteméthode,seréférerauguideAgirpour lechangement,téléchargeablesurlesiteduF3E.Ils’agitd’uneapprocheinnovantequiviseàidentifierleschangementssansenfermeraupréalableleregardsurdesélémentsattendus. Collecterdes témoignagesde ce type,permetnon seulementdes recoupementsmaisaussid’identifierdesélémentsperçusparunepersonneetpourtanttrèspertinents.L’hypothèse qui sous-tend ce choix est que ce type d’observation des changements permettra par la suited’identifierdescatégoriesplusprécisesdechangementspertinentsàobserverdanscetypedeprogramme.EntreTOetT1:LapériodedesixmoisentreT0etT1vadoterleprogrammed’outilsdesuivideschangements.Ceux-ci seront partagés lors des rencontres en T1. Le «logbook» nom donné à l’outil de suivi regroupeplusieurs fonctions: il permet à la fois de noter les échéances et de faire le reporting d’activité et de suivrel’aspect plus qualitatif «soft» du programme (voir ci-après) Il est convenu de collecter pendant 6 mois leschangementsobservésetd’échangerlorsdesrencontresinternationales.

Ø Outil:Lelogbook.T1(6mois) : L’outil est présenté, discuté et annoté lors de la rencontre.Undispositif de suivi évaluation duchangement est défini: Les coordinateurs nationaux seront en charge d’une collecte «libre» entre chaqueregroupement.Lesdonnéescollectéesserontpartagéestousles6moislorsdesregroupements.Chaquesessionde regroupement fera aussi l’objet d’un temps de «capitalisation», permettant de garder trace de ce quechacunaretirédecetemps.EntreT1etT2:C’estpartipourlacollectedeschangements!Unefoisledispositifdéfini,ils’agitdepasseràlacollecte:Lacollecteesticimenéeparchaquecoordinateurdeprogramme.Chacund’euxestchargéderelevercequiluiapparaitcommedeschangementssignificatifsconcernantlapériodequivientdes’écouler.Ceschangementspeuventêtreattendusouinattendus,concernerleprogramme,lespartenairesetbénéficiairesduprogrammeoulecontextedecelui-ci.Les changements peuvent être relevés par de l’observation, de l’analyse documentaire, des entretiensindividuelsoucollectifs;l’intérêtétantdecroiserlessourcesd’information.Leschangementsidentifiésdoiventêtrecaractérisésetexplicités,enessayantdepercevoirlacontributionduprogrammeàcechangement.Unjournaldutype«journaldebord»(voirci-après)peutaussiêtreutiliséLa collecte peut comprendre des temps d’enquêtes par les coordinateurs auprès d’acteurs en lien avec leprogrammes:(jeunes,professionnels,pouvoirpublics).Ilspeuventalorsseréférerau«guidepourquestionnersurdeschangementsobservés»(ci-après)

Ø Outil:LejournaldeBordetleGuidepourquestionnersurdeschangementsobservés.T2:Miseen commundes changementsobservés: Ladeuxièmeétapeest lamiseen commundesélémentscollectésetunpremiertempsd’analyse.Lors des regroupements, les porteurs du programme se retrouvent autour des journaux de changement(présentéci-après)qu’ilsontremplisetclassentleschangementsparthématiquescommunes.Desthématiquesditesde«grandschangements»émergent.Leschangementsobservéssemblenteneffetcorrespondreàtroiscatégoriesdechangement:

- Changementdanslarelationcontexteexterneetorganisationlocale;

Page 22: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

22

- Changementintraorganisation;- Changementinterorganisation;

Ce temps peut être animé en début de session, lorsque les coordinateurs se retrouvent, car il permet dereprendre contact et de réaliser les évolutions survenues depuis la dernière rencontre. Ce temps peuts’organiserautourdecesquestions:

Oncommenceparrevenirsursonprojetparpays…• QuellesétaientmespréoccupationsaudébutduprojetErasmus+?

• Comments’estdéroulécettepremièreannée?

• Etmaintenant,oùj’ensuis?

• Apartageravecl’ensembledesparticipants:uneforceetunefaiblessedenotreexpérimentation.

Ensuite,onécoutelesexpériencesdechacun…pouridentifierdeschangements:

- Présentationdel’essentieldechaqueexpérimentationetéchanges.Chaqueparticipantécouteenétantplussensibleàunetypologied’évolution(écouteactive):

Laformationprofessionnelleadaptéeauxdébouchésterritoriaux.L’évolutiondeséquipespédagogiques.LacollaborationavecdesorganisationshomologuesenEurope.L’évolutiondesjeunes.

Autresévolutionshorsthème.

- Suiteàceséchanges:Qu’est-cequ’onapprenddecepartaged’expériences?

Quellesévolutionsapparaissent?

Lesnotezsurdespost-itetlesrépartirsurlespanneauxcorrespondants.

Al’issuedeceséchanges,ledocumentdecollectedeschangementsévoluepourintégrercesgrandescatégoriesdechangement.

Lesuivideschangementscontinueainsijusqu’àladernièrerencontre:sixmoisdecollectededonnéesetuntempsd’échangesaucoursdelarencontre.

Ø Outil:Lejournaldechangement.

Lorsdubilanduprogramme,aumomentdelarencontredeclôture,untempsestconsacréàunerelecturedel’ensembledeschangementsobservésaucoursduprogramme.

Quelquesquestionspouranimerlebilan:

- Quellesétaientmesattentes(cellesdemonorganisation)audébutduprogramme?Etmaintenantoùenest-on?commentjevoislasuited’ici2ans?

- Enrelisant l’ensembledes journauxdechangementdesdeuxannées,qu’estceque j’observe?quelschangements parus importants ont disparus, quels autres ont perdurés, se sont intensifiés? Quelsélémentsd’explicationpuisjeapportéoudois-jeallerchercher?

Page 23: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

23

Lesoutils:

Lecarnetdebord(logbook)Le logbook a pour finalité de garder trace des évènements du programme et de noter les changementsobservés.Lespersonneschargéesdesuivreleschangementsl’utilisentpourseposerrégulièrementlaquestiondeschangementsobservés.Cetoutilpermetdefairelelienentrecequelespersonnessurleterrainontdanslatêteetlefaitd’écrirequelquechosedepastropnormé.Cetoutilcomprenddeuxparties:

• Lapremièrepartierevientsuruntempsduprogramme. Ilproposederevenirsurunévènement,uneactivité,unepériodeetdeporterunregarddistancié.L’idéeestdecapitalisercequis’estpassésurcetévènementpouridentifierlesmécanismesdecetévènement.

• Lasecondepartiecorrespondàuneidentificationassezlargedeschangementsobservés,ens’appuyantsurlerécitdel’évènementetlaprisedereculquepermetcerécit;

Exemple: les coordinateurs du programme ont été invités à remplir ces fiches après les temps forts duprogramme.Travailleraveclasecondefichecommesupportapermisdesaisirenquoilestempsderencontresinternationalesavaientétédes«tournants»dansleprogrammepourlesporteursdeprogramme.

Ilpeutêtredifficilepourlesparticipantsdes’astreindreàremplircesfiches.Unedestechniquesdéveloppéesausein du programme a été le questionnement entre pairs. Ainsi le coordinateur France a questionné lecoordinateurRoyaumeUnis.Ladiscussionricheafaitl’objetd’uneprisedenotequiapermisderemplirlafiche.Lemêmeprocédéaétémenéàl‘inverse.Lescoordinateursontétéenrichisdecetéchangeetontpuensuitemettreencommunaveclesautresbinômes.

L’outil:

Choisiruneétape,unmoment,unévènement,uneffetduprocessusd’expérimentationàdécrirepourgarderunetraceetpouvoirrevenirdessuslorsdel’analysedeschangements.

L’histoirevuedel’extérieur

Lecontexte:Camperledécor

Lethème:choisiruneétape,unmoment,unévènement,uneffetduprocessusd’expérimentationàcapitaliser

Leparcours:raconterunehistoiredemanièrefactuelle(acteurs,résultats,forces,faiblesses,solutionstrouvés,élémentsinnovantsetc.)

L’histoirevuedel’intérieurCequinousaplu

Cequinousaétonnés

Page 24: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

24

Cequenousavonstrouvécompliqué

Cequenousavonsappris/Cequinousachangé

Sinousavons4conseilsàdonneràquivoudraits’inspirerdecetteexpérience:

Donneruntitreàvotrehistoire.

Prendredurecul:Identifierdeschangements

1/Quelschangementsa-t-onobservé? 2/Commentceschangementsont-ilseulieu? 3/Quelsautreschangementsimprévussontapparus? 4/Commenty-a-t-oncontribué? 5/Commentavons-nousnous-mêmeschangé? Autre:

Page 25: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

25

UnJournaldebordfactice VersiondedémonstrationJournaldebord–enseignantsNomdelapersonnequiremplitlafiche:1animatricefictived’ateliersdansuneécoleauprèsdedeuxclassessouhaitantmettreenplaceunecorrespondancePériodeconcernéeparlerecueildedonnées:octobre2015–janvier2016

Territoire/acteur(s)concerné(s):Enseignantesdel’écoleClichy

Date Descriptiondeschangementsobservés

Sourcesetnaturedesdonnées

Leçonsapprises&suggestions

Situationdedépart

13octobre,écoleClichy-Stéphaniefaitrégulièrementdutravailenateliercoopératifdanssaclasse.Elleadéjàtravaillésurl’égalité(projetthéâtre2013-2014)estintéresséeparlacorrespondance.–Marinaestunenouvelleenseignante,ellesembleintéresséepardespédagogiesdifférentesmaisnesaitpascommentlesmettreenplace.Certaineappréhensioncarpréfèreentrerdanslemétierdemanière«standard»avantdefairevariersapédagogie.Parcontre,trèsaufaitdesthématiquesdedéveloppementdurable.

Discussioninformelleàlafindelaréunionavec2enseignantesdel’écolequivontparticiperauxcorrespondancespourpréparerlepremiertempsenclasseprévulasemaineprochaine.

Surl’outildujournaldebord:Pasévidentderemplirlejournalsansqu’apparaissentlesformulationsdeschangementsintermédiaires(ilfautvraimentbienfairecorrespondretermeàtermelalistenumérotéedescheminsdechangement…c’estunpeufastidieux)

Marinaditqu’elleestdéjàpartantepourchoisirdestextesenlienavecleDDpourdesséancesdefrançais.

Pendantlaréunionquandjeparlaisdelatransversalitédel’ECSI

Stéphanieamisenplaceunsystèmedetridesdéchetsdanssaclasse,lesrèglesdevieaffichéessontfaitesparlesenfants.3décembre2–àl’écoleMarinaétaitsatisfaiteetagréablementsurpriseparlescontenusetlesméthodesproposéeslorsdemonintervention.Ellecompte

LorsdelavisitedesaclasseAlasuitedema1èreinterventiondu3/12,discussionpendantlarécréation

2CommeindiquédansleGuide,ilpeutêtreplussimpleetpluslisibledefairedifférentesfichesselonlespériodes.Enfonctiondunombred’info,ilsepeutqu’àforceons’emmêlelespinceaux!

Page 26: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

26

reprendredessupportspourlestravaillerdansd’autresmatières.Elleacommencéàchoisirdestextesenlienaveclathématique«citoyenneté»enfrançaisetaimeraitunretourdessus.

Alasuitedema1èreinterventiondanslesdeuxclasses,lesenseignantesm’ontditqueletravailenîlotfonctionnaitparcequ’onn’étaitpassuruntempsdeclasse«standard»:pourelleçavientencomplémentdetempsd’enseignementclassiques(unélèvepartableettravauxindividuels).Ellesfontparfoisdespetitsgroupesdetravailmaisçaresterare.

Décembre,àl’école

Stéphanieaunblogdeclasseetunblogprofessionnel.

Pendantlaréuniond’octobre.

Ellessemblenttouteslesdeuxpartantesetenthousiastespourl’aventureSOLIDE!Ellesontrejointleprojet.Vigilance=>Ellesfontpartdescontraintesinstitutionnellespourrappelerqueparfoisellesnepourrontpasêtreàfonddansdesattentesqu’onpourraavoirparrapportàelles(appréhensionsvis-à-visdescomitésdeconcertation)

Tousleséchangesquel’onaeusdepuislaprisedecontact(mailsetattitudelorsdesrencontres).Ressenti.

Peut-êtredèsl’amontrenforcerlemessage:onvas’adapteraumaximumàvoshorairesetcontraintes(maissioninsistesurcepoint:nepaslesdécevoir).

ChangementsinattendusquisesontproduitsStéphaniem’aditquelecentredeloisirs(mercrediaprès-midiàl’école),quiestgéréparlesaffairesscolairesdelaville,étaitsurunethématique«recyclage»pourlapériodeseptembre-décembre.Danssaclasse,8enfantsvontaucentre;et11delaclassedeMarina.

Novembre,parmail,parcequejeluiaidemandésid’autresinitiativessurl’écoleproposaientdel’ECSI

Peut-êtrevoiraveclecentrequelleseralathématiquepourlerestantdel’annéeetvoirsidespasserellessontpossibles…?Entouslescas,lesenseignantesnesontpasdisponibleslemercrediaprès-midi.Maisparmilesanimateursducentre,certainss’occupentdelacantinelesmidis.

Page 27: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

27

Guidepourquestionnerdesparticipantssurleschangementsobservés.

Les3totemsdusuivi

■ Qu’est-cequej’aiobservé?■ Commentjel’explique?■ Qu’est-cequecelam’apprend?Qu’est-cequejefaisévoluer,enconséquence,dansmastratégieet/ou

activitéset/oupostureset/oupartenariat?

Lesquestionsclefsdel’accompagnateursurces3totems

1. Constater:qu’est-cequej’aiobservé?

■ Qu’as-tuconstatécommechangement?Qu’estcequiaévoluédepuisXXtemps?

■ Commentils’estmanifesté?Peux-tuillustrercechangementavecunoudeuxexempleprécis?

■ Commenttulecaractériseraisplusprécisément?=>Exempledechangement:

Quelqu’unfaitremarquerqu’ilaobservéuneplusgrandeimplicationdesenseignantsdansleurtravaildepuisledébutduprogramme.L’ensembledesparticipantssemblentd’accordaveccechangement.Ils’agitbiend’unchangementseulementiln’estpasexplicité:qu’estcequileurfaitdirequelesenseignantssontplusimpliqués?Commentdécrivent-ilsunenseignantimpliqué?Commentpeut-onsaisirl’implicationd’unenseignantdanssontravail?

■ Pourquoi ce changement est-il particulièrement important pour toi? Qu’est-ce qi te fait dire que c’est

important?Quellesensontlesraisons?

■ Cechangement, l’as-tuobservédemanièrerécurrentechezd’autresacteursoudansd’autressituations?Cechangementobservéest-ilpartagépartescollègues?=>Estceanecdotique?Ouest-cerévélateurd’unetendancesignificative?Celapeutaideràobjectiver.Pourautant,unchangementanecdotiquepeutaussiavoirsonimportance.

=>C’estl’occasioniciaussiderécupérerquelquesdonnéeschiffréespourétayerleproposetavoiruneidéedel’ampleurduchangement.

■ Est-cequ’ilyadeschangementsquetuasobservésetquit’ontparticulièrementsurpris?Auxquelstunet’attendaispasdutout?

2. Comprendre:commentexpliques-tucechangement?

■ Atonavis,qu’estcequiapermisquecechangementarriveouaucontrairequerienn’aitbougé?Quelleactivité/action/personne ou élément de contexte extérieur a permis cela? Est-ce que c’est du à desactivités/actiond’autresprojets/organisations?

Page 28: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

28

=>Icic’estl’occasiondecomprendregrâceàquoiet/ouàquileschosesontévolué(oupas).Est-cequec’estleprojet?Notreprojetcombinéàd’autres?D’autresprojets,personnes,élémentsextérieursetc.Unexemple:unepersonnerapportequ'unchangementinattenduestqu'elleaétéinvitéeàuneréunionàlaquelleellen'avaitjamaisétéconviée,paruninterlocuteurquinelareconnaissaitpas.Toutel'équipeseréjouiedecettenouvellereconnaissanceduréseau.Encreusant,dequestionenquestion,onréalisequecettepersonneaétéinvitéetoutàfaitparhasard.

=>Ilestutiledeposercettequestionmêmes’iln’yapaseuchangementous’ilyaeu«régression»ou«évolutionnégative».Celapermetauxpersonnesd’exprimerpourquoiseloneuxiln’yapaseudechangementetcequiaentravélechangementseloneux.

■ Detonpointdevue,cechangementestplutôtfaible,moyenélevé?Situdevaisdonnerunenoteentre1et5,ceserait…?Auregarddecelaquelsontpourtoilespointsd’attentionpourlesprochainsmoisdanstonprojetetentermesdesuivi?

3. Agir:Quefaisons-nous?

■ Qu’est-cequ’ilfaudraitfaireévoluerpourfairemieux?

■ Est-cequ’ilyadesactivitésquidoiventévoluer,êtrerenforcées,décaléesouabandonnéescesprochainsmois?

■ Notrechemindoit-ilêtreenrichioureformulé?

■ Doit-onnouerdenouveauxcontacts,partenariat,collaboration?

Page 29: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

29

Lejournaldesuivideschangements

Le journal de suivi des changements est une autre façon de suivre les changements. Il part de la mêmequestion:quelssontleschangementsobservéssurunepériodedéfinieaupréalable?

Il propose ensuite de répartir les changements observés et notés en fonction des domaines identifiéschangement;danslecasdeceprogrammeErasmus+,pourrappel:

• Lescurriculumsdeformation,• Letravaild’équipeauseindesorganismesdeformation,• Lacoopérationinternationale• Lescompétencesdeviedesjeunes

L’idéeestensuitedechercherquellessontlesactivitésquiontcontribuéàcechangement,etleurpertinence.Une partie de cet outil rappelle aussi que le changement ne se prévoit pas et que certains changementsobservéspeuventnerentrerdansaucunecasepréétablie.

Cet outil, comme le précédent, peut être remplis par la personne qui observe les changements, ou par unepersonnequil’interrogeoralementetquiécritensuitelecontenudel’échange.

Enfin la dernière partie proposede réaliser unepremière analyse de ces changements observés àmettre endiscussionensuite.

Page 30: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

30

NomduCorrespondant:

Pays:

Date://2016

Journaldesuivideschangements Journaldesuividesactivités

Programme

Grandschangements

Changementsobservés

Pointsd’attentionpourlasuite

Niveauduchangement:

Faible/moyen/élevé

Sourcedevérification

Qu’avez-vousfaitpour

provoquercechangement?

(=lesactivités)

Niveauderéalisationdecesactivités

Activitéstrèspertinentes/peu

pertinentes

““

Changementsinattendusquisesontproduits:

Facteursquiontcontribuéàlaréussitedeschangementsouquilesontlimités:

Recommandations/propositions:

Page 31: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

31

Exemplesd’unesynthèsedeschangementsobservésàl’issued’unprogrammeErasmus+

Individus

• Des compétences accrues au travers des sessions deformation(territoire,secteur)

• Delaméthode• Denouveauxoutils(ka3),• Un impactdirectsur les jeunes (formationactiondansde

nouveaux domaines dans plusieurs organismes dont laMFRdeTerrouetGSATRH)

• Des évolutions de poste significatives en lien avec ledéveloppement de nouvelles fonctions dans lesorganisations

• Uneforterelationdeconfianceentrelespartenaires

Organisations

• Identitéplusfortedechaqueorganisation• Meilleurecapacitéàinteragiravecd’autres• Une meilleure connaissance du contexte et des

partenariatspossiblesauniveaulocaletnational• Unrappeldel’histoireentrelaFranceetl’Italieetla

«redécouverte»des2piedsque sont la formationet le développement territorial pour fairefonctionnernosstructures

• Les organisations centrées sur l’approchestratégiquede la formationont faitducheminverslesapprochesterritoriales(MFRnationaletrégional,SCF, PLZMMC) et ont validé leurs réflexions àl’épreuve de la réalité (échanges, aller/retourréflexion/actionetapprocheitérative)

• Cellesquiagissentauprèsdespublicsontprisde lahauteur et ont avancé concrètement par laformulationd’unnouveaumétier,d’unmoduleetdelanécessitédebienpréciserlecontexteavantdeselancer dans l’action (approches globale trèsdifférenteentreGSATRH,SCCetFRMidiPyrénées)

Systèmes

• UnecontractualisationIFOCAP,Soletcivilisationpourune2eUniversitéItinérantedesTerritoiresRuraux

• Une prise en charge par l’ANFRA de la dynamiqueenclenchée (inclusion de l’accompagnement auchangement et des techniques d’animation territorialedanslaformationdeséquipespédagogiquesdesMFR)

• Une meilleure utilisation des programmes Erasmus entenantcompteàlafoisdespolitiqueseuropéennesdontilssont issus mais aussi de la réalité des publics et desdynamiquesd’acteurs

• Une initiative de formation en milieu rural qui pourraitaboutir à une MFR est en création en Lituanie, à partird’une initiative locale liée aux Groupes d’Action Localelituaniens

• Desrelationsquiperdurentetunaccompagnementquisedéveloppeentrelesorganisations

• Une redécouverte des liens historiques entre SCF etMFRfrançaises et une volonté de poursuivre sur les questionsd’accompagnement des acteurs aux questions dechangement et d’animation territoriale (transversale, pasau service des agents de développement car cela existedéjà)

• Leguideméthodologiquesertdéjàetsusciteunedemandede la part d’acteurs extérieurs (Collectivités territoriales,autresorganisations)

• Les relations entre SCF et la région Veneto ont changéradicalement(travailencommun,explorationdenouveauxchamps)

• La FR MFR Midi Pyrénées est aujourd’hui force depropositionpourlesacteursrégionaux

• Elle a initié de nouvelles pratiques inter-acteurs avec leKA3jeunesse

Erasmus

• Le systèmede suivi évaluation s’est enrichi d’outilspermettant de qualifier plus précisément lechangement

• D’autresKA2sontencoursderédaction• Leguidesertdéjàpourd’autresKA2encours• Unguideduporteurserafinalisédansl’annéesurla

base d’un plan d’accompagnement et de classesvirtuellesdesfédérations

• Côté français, cette expérimentation, qui était en2014 trop «novatrice», «ambitieuse» pour lescapacitésdesréférentsmobilitérégionaux,agénéréunsursautd’implicationetdequalitésurl’actionclé1 et une maturité qui devrait faciliter le montaged’actions concertées entre acteurs territoriaux detypeKA2dès2017

Page 32: Le suivi évaluation d’un projet Erasmus + : Au delà des ... · partenaires français, anglais, italiens, lituaniens et grecs et coordonnée par l’Union Nationale des Maisons

32

Bibliographie

GuideAgirpourlechangement,siteduF3Erubrique«BoiteàoutilsPrisme»:www.f3e.asso.fr

Source:https://www.agence-erasmus.fr/docs/2311_guide_diffusion_impact_sco_web-final.pdf

Applicationdel’approchesystémiqueàlaconduiteduchangementdanslesentreprises:

http://web.univ-ubs.fr/lmam/frenod/IMG/Aspeet/ConfDBeriotSlides.pdf