Termes de référenceEtude transversale

Une évaluation transformée en Education à la Citoyenneté et à la Solidarité Internationale (ECSI)

1. Les acteurs et l’intervention

1.1. Les acteurs impliqués Educasol est la plate-forme française d’éducation à la citoyenneté et à la solidarité internationale (ECSI). Elle a été créée en 2004 et est composée de 22 associations de solidarité internationale. Elle a trois axes de travail principaux :

un axe « plaidoyer », qui vise à démontrer l’importance des enjeux de l’éducation à la citoyenneté et à la solidarité internationale dans les politiques publiques (politique de développement, d’éducation, jeunesse notamment) ;

un axe « échanges, formations, publications », qui vise à travailler sur les thématiques porteuses d’enjeux forts qui traversent le milieu de l’ECSI. Cet axe se traduit par l’organisation de « journées d’échanges », par des publications (en partenariat avec le F3E notamment), par un travail sur l’évolution des concepts et les changements de terminologie ;

un axe « Ressources et communication » qui vise à faire du site d’Educasol un site de référence sur l’ECSI.

Educasol est mandaté par Coordination Sud pour participer au DARE Forum1.

Le F3E se positionne, depuis sa création en 1994, comme le réseau français dédié à l’amélioration de l’impact et de la qualité de l’action, en matière de coopération et de solidarité internationale. Le F3E est composé d’une centaine d’ONG et de collectivités territoriales. Il rassemble les acteurs disposés à analyser et partager leurs pratiques pour renforcer leurs capacités et mieux rendre compte de l’efficacité de leurs actions. Le F3E est financé principalement par des fonds publics et les cotisations de ses membres. Le F3E entretient des relations privilégiées avec les plates-formes nationales Coordination SUD et Cités Unies France.Le F3E accompagne ainsi les démarches évaluatives de ses membres, propose des espaces d’échanges et d’apprentissage, développe une fonction de Centre de ressources.Pour ce faire, le réseau F3E propose à ses membres :

l’accompagnement d’études (évaluation, capitalisation, études d'impact, etc.) et le recours à l'expertise

1 Development Awareness Raising and Education Forum (DARE) is one of the core-working groups of CONCORD

F3E - 1

la production et l'échange de connaissances une offre de formation collective et personnalisée

Le F3E fonctionne selon deux principes: la promotion de l'intérêt général et du bénéfice collectif entre tous les acteurs de la

coopération au développement, en valorisant l'expérience acquise. favoriser des approches pluri-acteurs, en incitant au dialogue entre OSC, CLT, autorités

publiques, experts/consultants, partenaires, collectifs et réseaux, etc.

Educasol et F3E travaillent également au niveau européen:Lors de ses journées de formation, Educasol donne souvent la parole à d’autres plates-formes nationales européennes. Educasol se mobilise également pour soutenir les campagnes européennes proposées par DARE et CONCORD et collabore à leurs documents de travail pour enrichir le plaidoyer ou le soutien méthodologique aux acteurs de l’ECSI.Le F3E participe au groupe de travail « efficacité du développement » de CONCORD et collabore avec ses membres. En Octobre 2014 par exemple, le F3E a présenté les résultats de la recherche-action faite avec Educasol sur l'impact des actions d’ECSI, lors d’un séminaire organisé par ACODEV et ONG Federatie.En 2011, le guide F3E-Educasol «Comment auto-évaluer ses actions d’éducation au développement » a été traduit en anglais par DEEEP et valorisé auprès des membres du DARE Forum.

***

Educasol et F3E collaborent depuis huit années.Ce partenariat a conduit à la mise en place et au développement de deux groupes de travail qui ont abouti à deux publications:

- «Comment auto-évaluer ses actions d’éducation au développement » - «Sur le chemin de l'impact de l'éducation au développement et à la solidarité

internationale»

2. L’étude

2.1. Pourquoi cette étude ?LE CONTEXTE

L’évaluation en ECSI concerne différents niveaux d'actions (structures, campagnes, programmes, projets) et différents types d’acteurs (macros / intermédiaires / de base), ce qui conduit nécessairement à différentes positions prises et perceptibles dans les processus et les rapports finaux des évaluations réalisées.

En ECSI, le plus souvent le niveau des actions entreprises (à petite échelle) ne justifie pas d’une évaluation externe, même si cette évaluation pourrait fournir des informations intéressantes et venir éclairer des processus d'évaluation plus macros de campagnes ou de structures par exemple.

F3E - 2

L’environnement de l’ECSI est composé de militants et de bénévoles, ce qui est aujourd’hui assez inhabituel dans le secteur de la coopération au développement. Pour cette raison, la vision de l'évaluation est également différente : le rapport coût/bénéfice amène souvent à penser que le processus d’évaluation est superflu.

Dans le même temps, de nombreux praticiens de l'évaluation à travers le monde (commanditaires, évaluateurs) considèrent difficile de justifier de l’utilité et de l’utilisation des évaluations qui leur sont demandées ou qu’ils conduisent eux-mêmes.

***

Depuis sa création, le F3E a accompagné près de 380 études, dont environ 20 évaluations externes d’ECSI. Lorsqu'il accompagne des études, le F3E se considère comme un "tiers, exigeant, médiateur et accompagnateur» entre ses membres commanditaires de l’évaluation et les consultants, évaluateurs.

La plupart de la vingtaine d’évaluations en ECSI accompagnées par le F3E ont été des campagnes ou des évaluations de réseaux d’ECSI. Nous comptons également une capitalisation récente en ECSI.

La plupart de ces évaluations concernent les OSC, mais quelques-unes étaient des évaluations d’actions effectuées dans le secteur de la coopération décentralisée, comportant un volet ECSI.

Ces évaluations ont presque toutes été effectuées depuis 2000, lorsque l’ECSI a commencé à être considérée comme un secteur à part entière de la coopération au développement.

Ces évaluations ont presque toutes été conduites à la demande des organismes publics / bailleurs de fonds, avec un objectif souvent prédominant de redevabilité en première intention.

L’évaluation dans le secteur de l’ECSI ne repose pas seulement sur des ressources brutes, c’est à dire des rapports d’évaluation. On compte aussi, en France, quelques analyses ou ébauches d’analyses transversales :

- En 2003-2004, une évaluation transversale des actions EAD financées par le ministère des Affaires étrangères, faite par le cabinet Evalua

- En 2005, une première synthèse des évaluations EAD2 faite par Elisabeth Paquot et Catherine Cyrot

- En 2006, une analyse transversale à partir des entretiens menés par le CIEDEL avec une douzaine de membres d’EDUCASOL et des consultants en évaluation, dans le cadre du processus F3E-EDUCASOL sur l’auto-évaluation en EAD

- En 2006, une journée d'échanges EDUCASOL-F3E sur les «évaluations des actions EAD: Quelles pratiques? Quelles approches? "

- En 2006-2007, une analyse transversale dans la collection Expérience d’Educasol (n ° 10), sur le thème "Comment les acteurs évaluent leurs actions d’EAD?"

- En 2007, une journée d'échange EDUCASOL-F3E sur «les différents points de vue sur l’ évaluation des actions EAD»

- En 2007 et 2008, des formations EDUCASOL-F3E en évaluation des actions EAD

- En 2009, un guide F3E-EDUCASOL «l'éducation au développement et à la solidarité internationale: Comment auto-évaluer actions» et son annexe 1 « questionnements sur l’évaluation des actions d’EAD-SI »

- En 2009, une journée d'échanges EDUCASOL-F3E sur les évaluations des actions EAD

- En 2012, une journée de travail organisée par le F3E et Educasol sur «l’impact des programmes et campagnes EAD: faisabilité et références méthodologiques»

2 Jusqu’à très récemment (fin 2014) les actions d’ECSI étaient dites d’Education au Développement (EAD)

F3E - 3

- En 2013, la cartographie des actions EAD commanditée par l'AFD-DPO et réalisée par DRIS (Pierre Grega et Adélie Miguel Serra)

- En Décembre 2013, une journée de travail organisée par le F3E et Educasol qui présente la recherche-action conduite sur l’impact des actions d’EAD, suivie d'un débat sur le rôle de l'évaluation d'impact dans le champ des actions EAD.

- En 2014, un guide F3E-EDUCASOL «Sur le chemin de l’impact de l’éducation au développement et à la solidarité internationale. Repères méthodologiques pour apprécier ce qui est en mouvement ». Le groupe de travail constitué poursuit ses travaux à travers le programme PRISME sur la planification, le suivi et l’évaluation.

Au niveau européen, quelques travaux ont également été conduits sur l’évaluation dans le champ de l’ECSI, notamment parmi les membres du Forum DARE.Par exemple, une évaluation transversale des actions ECSI a été conduite il y a quelques années: General Evaluation of Actions to Raise Public Awareness of Development Issues in Europe / Development Education – Paul SFEZ, Karen SHERLOCKDecember 2008, EC Reference No. 2007/ 146962

2.2. Objet de l’étudeLE PROBLÈME

Considérant tout ce matériau, la question de l'évaluation reste une problématique majeure pour les acteurs de l’ECSI. Son utilisation et son utilité continuent d’être interrogés. La plupart des acteurs ECSI reconnaissent qu'ils subissent l’évaluation plutôt qu’ils en bénéficient au travers de ce qu’elles pourraient leur apprendre.

Ce constat ne relève pas uniquement des actions et acteurs de l’ECSI. En 2004, le F3E a conduit une capitalisation sur l'utilisation et l'utilité des évaluations sur les projets « terrain » qui l’a amené à faire évoluer son mode d’accompagnement, mais la question reste d’actualité pour nous et bien sûr, plus largement pour les acteurs de l’évaluation.

Aujourd'hui, nous pensons qu'il est nécessaire d'évaluer en profondeur les évaluations.

Cette question est partagée à l'échelle internationale et le F3E a été sollicité pour contribuer à l’élaboration d’un cinquième Guide Barefoot (Barefoot Guide) qui tente d'y répondre. Nous avons besoin d'une évaluation plus transformatrice qui réponde et engendre du changement systémique.

LA PROBLEMATIQUELes évaluations externes ne sont pas toujours adaptées aux objectifs d'apprentissage. Comment pourrions-nous améliorer nos processus d'évaluation pour répondre à ces objectifs et mieux contribuer à des changements profonds pour les actions et acteurs d’ECSI?

F3E - 4

Comment pourrions-nous nous assurer que l’évaluation prenne en compte des objectifs de changements transformatifs pour l’action et les acteurs de l’ECSI ? Dans quelles conditions les évaluations externes peuvent générer de profonds apprentissages ? Quels freins et leviers à l’apprentissage dans le cadre d’évaluations externes ?Est-il pertinent d'évaluer de la même manière les actions de l’ECSI et celles des actions de développement « terrain » ?Ces questions seront prises en considération dans la grille d’analyse de l’étude. Nous n’attendons pas de l’analyse qu’elle y réponde de manière exhaustive mais qu’elle contribue à y répondre et à esquisser des éléments de compréhension dont l’analyse pourra être poursuivie par la suite, dans la suite du processus Barefoot Guide 5.

L’OBJECTIFCette étude vise à contribuer à répondre aux questions précédemment soulevées pour les actions et acteurs de l’ECSI, à l’échelle française avec un éclairage européen à travers le benchmark qui sera fait à cette échelle.Nous voulons conduire une étude transversale sur les évaluations qui permette de poser les questions pertinentes et de générer du débat parmi les acteurs impliqués : bailleurs, OSC, CLT, évaluateurs. Des recommandations seront formulées, qui concerneront directement tous ces acteurs.Ce processus fait partie du Guide Barefoot 5 et de son analyse transversale et apportera un regard particulier sur l’ECSI.

LES RÉSULTATSNous voulons esquisser des éléments qui permettent aux futures évaluations d’être plus utiles en termes d’apprentissage et d’amélioration des pratiques des acteurs, afin de permettre aux actions et acteurs de l’ECSI d’impulser davantage de changements. Nous voulons aider les acteurs de l’ECSI à planifier leurs programmes et actions de manière plus pertinente et prendre en compte la question de l’évaluation dès le processus de planification. Par ailleurs nous voulons les aider à rédiger de manière claire et pertinente les termes de références des évaluations qu’ils souhaitent entreprendre. Au F3E les résultats de ce travail viendront enrichir l’outil d’évaluation et devrait permettre à toutes les parties prenantes des évaluations externes en ECSI de mieux s’approprier le processus évaluatif et en tirer des leçons. La formation en évaluation dispensée par le F3E s’inspirera également des résultats de ce travail. Cette étude questionnera enfin la validité des critères d’évaluation traditionnels, en particulier ceux d’efficience et de durabilité qui semblent souvent peu appropriés. D’autres critères pourraient être mis en avant et étudiés comme l’empowerment ou l’utilité sociale…L’implication des bailleurs des actions d’ECSI dans cette étude est une réelle opportunité de partage des résultats et apprentissages issus de cette analyse transversale. Cela devrait faciliter l’expérimentation d’évaluations voire de projets qui prennent de plus grands risques mais qui incluent un potentiel d’apprentissage majoré. Ce travail viendra alimenter la réflexion du Barefoot Guide 5 sur la transformation des évaluations.

2.3. MéthodologieLa méthodologie sera séquencée en 6 étapes.

F3E - 5

Le consultant retenu participera aux quatre premières étapes. Il sera appuyé dans le benchmark et l’analyse (étapes 1 et 2) par le F3E et dans les aspects organisationnels et logistiques (étapes 3 et 4) par Educasol. Le F3E et Educasol prennent en charge les étapes 5 et 6. Le F3E dédiera à cette étude 15h/j, Educasol 5h/j.

1. Le benchmark européenUn benchmark européen sera conduit par le consultant et le F3E (tâches à se répartir). Le groupe de travail de DEEEP sur la recherche et l’impact pourra être associé. Les modalités de cette association sont en train d’être discutées.

2. Analyse transversaleA l’échelle française, une analyse transversale sera conduite par le consultant et le F3E (tâches à se répartir). Ces deux premières tâches analytiques bénéficieront directement au travail qui sera fait dans le cadre du Barefoot Guide 5 et lui apporteront le regard particulier porté sur le secteur de l’EAD.

3&4. Ateliers Un groupe constitué et organisé par Educasol et le F3E sera composé de représentants des bailleurs, d’ONG et de CLT, d’évaluateurs / consultants et sera convié pour un atelier d’une journée qui se concentrera sur les questions suivantes : quelles approches et représentations avez-vous de la fonction d’apprentissage dans les évaluations externes ? Quelles sont vos ambitions et quels types de leviers ou d’obstacles pourriez-vous identifier dans la poursuite de cette fonction d’apprentissage ?Ce premier atelier sera suivi d’une analyse du débat qui aura eu lieu et conduira à la formulation de recommandations.

5. PublicationLe document de communication et de plaidoyer sera publié en français dans la collection « Points de vue sur » du F3E. Il sera mis en page par le F3E.

6. Diffusion et valorisationLa publication sera diffusée largement. Elle sera présentée lors d’évènement organisés par le F3E et/ou Educasol et également lors d’évènements relatifs au BG5.

F3E - 6