Méthodologie de l’étude d’impact

La méthodologie utilisée pour l’étude de l’impact sur les producteurs de l’action commerce équitable

menée par Artisans du Monde

Une définition de l’impact

L’impact d’une action, c’est la situation issue de l’ensemble des changements significatifs et durables, positifs ou négatifs, prévus ou imprévus, dans la vie et l’environnement des personnes et des groupes dont un lien de causalité direct ou indirect peut être établi avec l’action.

Action

1

Résultats

Effets

Effets

Impact

Action, résultats, effets et impact (1)

• Résultat = changement produit par l’action

• Effet = changement issu de l’incidence de l’action avec le milieu (milieu physique et humain, autres actions…)

• Impact = nouvelle situation issue de l’ensemble des résultats et des effets

Action, résultats, effets et impact (2)

Effet

Autre action Effet

Etuded’impact

Action programmée Résultats

Effet

Effet

Effet

Effet

Effet

2

Il n’est pas possible (ni souhaitable) de repérer tous les effets…

L’étude d’impact passe par :

- La priorisation d’aires de changement

- La construction d’une grille de lecture à partir de ces aires de changement

- La pondération des effets et des aires de changements

Changement n…Changement 2

Changement 1Grille de lecture

Effet X

Effet Y

Effet Z...

IMPACT

Mise en relation

L’identification de l’impact

Cinq aires de changement retenues

• Augmentation du niveau de vie des producteurs

• Amélioration des conditions de vie et de travail des producteurs

• Organisations des producteurs

• Développement local

• Développement national

Un tableau des effets pour toutes les études

Pour chaque aire de changement :

Effet Indicateur Source de vérification

Technique / Outil

Une analyse progressive : partir des résultats

Pour aller vers les effetsEffets sur les conditions de vie et de travail Effets Indicateurs 1. Allocation des revenus complémentaires 11. de l’organisation 12. du groupement 13. du producteur

11. Fonctionnement (salaires …) - Investissement (boutique, lieu de

stockage, machines …) - Appuis (formation …) 12. Projets sociaux (centre de santé, école) - Fonctionnement (salaires …) - Investissement (boutique, lieu de

stockage, machines …) 13. biens de consommation, - accès aux services - investissement productif

2. Conditions de travail au sein de l’OP 21. respect des clauses sociales légal : contrat, cotisation

réglementaire : hygiène et sécurité liberté publique : syndicat, non exploitation

22. Création d’emplois Evolution des membres Evolution du recours au salariat

23. Recours à la sous-traitance Evolution du recours à la sous-traitance

Une analyse quotidienne des indicateurs recueilliset un regard « mixte »

Effets Indicateur cherché

Indicateur recueilli

Analyse

• Fiche pour chaque entretien

• Fiche de présentation des organisations

• Tableau des effets renseigné et analysé pour chaque aire de changement

Conclusion

Qui débouche sur l’impact

Changement n…Changement 2

Changement 1

Effet X

Effet Y

Effet Z...

IMPACT

Mise en relation

Ce qui n’est pas sans poser des difficultés méthodologiques….

- Le commerce équitable n’est pas un projet, l’information n’est pas due…

- Qui définit les aires de changement et les effets ?- l’imputabilité de l’effet… au commerce équitable ?- La validité de l’indicateur par rapport à l’effet mesuré ?

Difficultés en partie levées par…- L’expérience des évaluateurs….- L’élaboration « intuitive » de chaines causales,- Le recoupement liée au grand nombre des entretiens et à au caractère itératif de la

méthode- Le rejet des « opinions » mais sans toujours pouvoir vérifier les indicateurs…

Des méthodes qui restent à modéliser… et valider

L’impact sur les producteurs du Sud

de l’action commerce équitable mise en œuvre

par Artisans du Monde depuis 25 ans

(2000 – 2004)

Une méthode…

• co-construite avec AdM depuis les TDR

• inscrite dans la longue durée

• associant étude externe et étude interne

• évolutive

• largement restituée

• visant à produire des changements…

Un champ d’étude : l’artisanat

Un échantillon large et diversifié :

- 29 organisations de producteurs

- 7 organisations de producteurs exportatrices

- 9 organisations faitières exportatrices

- 9 pays

- 500 personnes interviewées…

Traduction du rapport final et envoi aux partenaires

Phase 10

Diffusion du rapport finalPhase 9

Remise du rapport finalPhase 8

Diffusion des premiers résultats de l’étudeDiffusion dans le réseau AdMDiffusion sur internetTravail du CA sur les orientations àprendre suite à l’étude.

Phase 7

Séminaire avec 8 partenairesAnalyse et valorisation des résultats des étudesRédaction des rapports de missionMise en commun des résultats des études Séminaire bénévoles et producteurs Réalisation d’une synthèse grand public

Phase 6

Six études dans six pays avec 9 partenaires

Missions de terrain des bénévoles Réalisation des missions

Phase 5

Huit bénévolesSélection des bénévolesFormation des bénévolesSélection des experts locauxPréparation des missions

Préparation des études internesPhase 4

Trois études dans trois pays avec 7 partenaires

RéalisationSynthèse

Etudes externesPhase 3

Document de méthodeConception méthodologiquePhase 2

Projet SEESTermes de référence F3E

Cadrage de l’étudePhase 1

RésultatsContenuPhase

Traduction du rapport final et envoi aux partenaires

Phase 10

Diffusion du rapport finalPhase 9

Remise du rapport finalPhase 8

Diffusion des premiers résultats de l’étudeDiffusion dans le réseau AdMDiffusion sur internetTravail du CA sur les orientations àprendre suite à l’étude.

Phase 7

Séminaire avec 8 partenairesAnalyse et valorisation des résultats des étudesRédaction des rapports de missionMise en commun des résultats des études Séminaire bénévoles et producteurs Réalisation d’une synthèse grand public

Phase 6

Six études dans six pays avec 9 partenaires

Missions de terrain des bénévoles Réalisation des missions

Phase 5

Huit bénévolesSélection des bénévolesFormation des bénévolesSélection des experts locauxPréparation des missions

Préparation des études internesPhase 4

Trois études dans trois pays avec 7 partenaires

RéalisationSynthèse

Etudes externesPhase 3

Document de méthodeConception méthodologiquePhase 2

Projet SEESTermes de référence F3E

Cadrage de l’étudePhase 1

RésultatsContenuPhase

Des conclusions…

• Concordantes entre « experts » et « bénévoles »

• Concordantes dans les 9 pays

• Restituées et validées par les organisations de producteurs

• Restituées à tout le réseau AdM

• Largement mises à disposition

Contraintes et avantages de la méthode

Freins /contraintes Avantages

- un cadre méthodologique rigoureux, complexe, couteux

- une réelle qualité et solidité des résultats

- une préparation des études longue et exigeante, une mise en œuvre et une analyse déstabilisante pour les bénévoles

- une bonne cohérence des résultats de l’étude permettant de produire une vision de l’impact global du CE dans le domaine de l’artisanat.

- des résultats parfois difficiles à partager

- une véritable plus value en matière de connaissance, obligeant à réfléchir la complexité du CE (pourquoi, pour qui, comment) et de ses effets

- des aires de changement représentant les échelles de valeur de l’organisation du Nord