52
RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE UN GUIDE PRATIQUE

RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIREUN GUIDE PRATIQUE

Nous sommes tregraves reconnaissants envers ceux qui ont participeacute au salon Evidence Lounge agrave Genegraveve en Suisse en septembre 2017 au cours duquel ce guide a eacuteteacute discuteacute ougrave des versions anteacuterieures du guide ont eacuteteacute commenteacutees ou les deux Prisca Benelli (Save the Children) Kate Bingley (Christian Aid) Jonathan Breckon (Alliance for Useful Evidence) Alyoscia DOnofrio (International Rescue Committee - IRC) Tarah Friend (UK Department for International Development - DfID) Tara Karul (International Initiative for Impact Evaluation - 3ie) Paul Knox -Clarke (Active Learning Network for Accountability and Performance - ALNAP) Flurina Kuhn (UK Science amp Innovation Network) David Loquercio (Core Humanitarian Standard on Quality and Accountability - CHS) Tim Martineau (Liverpool School of Tropical Medicine - LSTM) Virginia Murray (Public Health England - PHE) Alice Obrecht (ALNAP) Aninia Nadig (Sphere Project) Adina Rom (ETH Zurich) Rodolfo Rossi (International Committee of the Red Cross - ICRC) Eva Svoboda (Overseas Development Institute ndash ODI and Humanitarian Policy Group - HPG) Pierluigi Testa (Terre des hommes) Erik Von Elm (Cochrane Switzerland) Karin Wendt (Humanitarian Exchange and Research Centre - ICI)

Par ailleurs les organisations suivantes ont contribueacute en fournissant des exemples (y compris des eacutetudes de cas) et dautres contenus 3ie ALNAP Christian Aid Evidence Aid International Committee of the Red Cross International Rescue Committee Liverpool School of Tropical Medicine London School of Hygiene and Tropical Medicine Overseas Development Institute Public Health England Save the Children et ShelterBox

REMERCIEMENTS

CITATIONCe document devrait ecirctre citeacute sous la forme suivante Blanchet K Allen C Breckon J Davies P Duclos D Jansen J Mthiyane H Clarke M (2018) Using Research Evidence in the Humanitarian Sector A practice guide London UK Evidence Aid London School of Hygiene and Tropical Medicine and Nesta (Alliance for Useful Evidence)

AUTEURSCe document a eacuteteacute eacutecrit par Karl Blancheta Claire Allenb Jonathan Breckonc Phil Daviesb Diane Duclosb Jerien Jansenb Helen Mthiyanec et Mike Clarkeb (a Health in Humanitarian Crisis Centre London School of Hygiene and Tropical Medicine b Evidence Aid c Nesta Alliance for Useful Evidence)

FINANCEMENTCe document a eacuteteacute financeacute par le UK Science amp Innovation Network (repreacutesenteacute par SIN Switzerland Ambassade de Grande-Bretagne agrave Berne)

CORRESPONDANCELa correspondance concernant ce document doit ecirctre adresseacutee agrave Karl Blanchet Directeur du Centre de santeacute dans les crises humanitaires au sein de lEacutecole dhygiegravene amp de meacutedecine tropicale de Londres situeacutee Tavistock Place agrave Londres au Royaume-Uni et Mike Clarke directeur de la recherche chez Evidence Aid au sein du Centre pour la santeacute publique Universiteacute Queens agrave Belfast ICS Block A Royal Hospitals Belfast eacutegalement au Royaume-Uni

Karl KarlBlanchetlshtmacuk Mike mclarkequbacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

1 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Evidence Aid (wwwevidenceaidorg) deacutefend une approche fondeacutee sur des preuves dans le secteur humanitaire Sa mission est de soulager les souffrances et de sauver des vies en fournissant les meilleures preuves disponibles sur lefficaciteacute de laction humanitaire et en permettant son utilisation Evidence Aid a deacuteveloppeacute une gamme de ressources disponibles gratuitement sur son site Web Celles-ci comprennent des examens systeacutematiques des interventions en cas de catastrophe de crise humanitaire et drsquoautres urgences majeures Evidence Aid organise des eacuteveacutenements pour promouvoir lutilisation des preuves dans le secteur humanitaire notamment une Semaine de la preuve humanitaire en novembre en collaboration avec le Center for Evidence-Based Medicine de lUniversiteacute dOxford au Royaume-Uni parallegravelement aux salons Evidence Lounges Ces salons (Evidence Lounges) rassemblent des praticiens et des membres de la communauteacute de recherche universitaire afin dameacuteliorer les collaborations et de deacutevelopper des moyens pratiques dutiliser les preuves dans le secteur humanitaire y compris le preacutesent guide

Health in Humanitarian Crisis Centre (httpcriseslshtmacuk) agrave la London School of Hygiene and Tropical Medicine geacutenegravere des recherches primaires et des formations sur la santeacute publique dans les situations de crise humanitaire en eacutetroite collaboration avec les agences humanitaires internationales et les centres de recherche des pays toucheacutes pour relever les deacutefis critiques en matiegravere de santeacute

RECAP un programme quadriennal de recherche et de renforcement des capaciteacutes a eacuteteacute lanceacute en 2018 et est axeacute sur la prise de deacutecision et la responsabilisation en reacuteponse aux crises humanitaires et aux eacutepideacutemies Le projet RECAP beacuteneacuteficie du soutien du Royaume-Uni pour la recherche et linnovation dans le cadre du Fonds de recherche pour les deacutefis mondiaux numeacutero de subvention ESP0108731 Le Centre propose eacutegalement des cours aux praticiens via des modules sur les conflits et la santeacute des cours abreacutegeacutes et un MOOC en ligne gratuit sur la santeacute dans les crises humanitaires

Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) est une fondation mondiale pour lrsquoinnovation baseacutee au Royaume-Uni Elle soutient de nouvelles ideacutees pour relever les grands deacutefis de notre eacutepoque des pressions exerceacutees par le vieillissement de la population aux services publics surchargeacutes en passant par un marcheacute du travail en rapide mutation Elle a eacutegalement publieacute plusieurs guides sur lutilisation des donneacutees probantes pour relever ce deacutefi Cette publication sappuie sur lun de ceux-ci laquo Utiliser les donneacutees de recherche un guide pratique raquo Ce guide a eacuteteacute produit par lrsquoeacutequipe des compeacutetences en innovation de Nesta et par lrsquoAlliance for Useful Evidence Le preacutesent guide pour le secteur humanitaire a eacuteteacute mis au point en consultation avec eux et en remerciement envers Nesta qui nous a permis drsquoutiliser une partie de leur contenu

LE TRAVAIL SUR CE GUIDE A EacuteTEacute COORDONNEacute PAR TROIS ORGANISATIONS

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 2

INTRODUCTION 4

Qui peut utiliser ce guide 5Comment utiliser ce guide 5

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6

Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7

Le deacutefi de ne se fier quagrave une opinion professionelle 9

Messages cleacutes de la section A 11

SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12

Cycle de reacuteponse humanitaire 12

Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14

Adopter des ideacutees dautres reacutegions ou secteurs 18

Creacuteer une theacuteorie du changement 19

Messages cleacutes de la section B 19

SECTION C Quels eacuteleacutements devriez-vous choisir 21

Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23

Recherche expeacuterimentale - Pourquoi en faire tout un plat 28

Modegraveles de recherche expeacuterimentale 28

Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30

Lorsque la randomisation est impossible ou inacceptable 30

Modegraveles quasi-expeacuterimentaux 30

Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32

Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32

Messages cleacutes de la partie 1 de la section C 34

Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35

Controcircle reacuteciproque comment aident-ils les deacutecideurs 35

Deacutefinir une recherche laquo de haute qualiteacute raquo 35

Recherche qualitative de haute qualiteacute 37

Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37

Meacuteta-analyse 39

Graphiques en forecirct 39

Eacutevaluation rapide des preuves 40

Limportance de la reacutepeacutetition et de la corroboration 40

Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41

Messages cleacutes de la partie 2 de la section C 42

SECTION D Ougrave devriez-vous chercher des preuves 43

Examiner des reacutesultats de recherche 43

Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44

Messages cleacutes de la section D 45

NOTES EN FIN DE DOCUMENT

Reacutefeacuterences et notes 46

SOMMAIRE

3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4

INTRODUCTION

Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues

Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement

Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme

dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence

La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)

Introduction

Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques

RETOUR AU SOMMAIRE

5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION

Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche

COMMENT SE SERVIR DE CE GUIDE

Le guide se divise en quatre parties principales

QUI PEUT UTILISER CE GUIDE

Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire

SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche

Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 2: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous sommes tregraves reconnaissants envers ceux qui ont participeacute au salon Evidence Lounge agrave Genegraveve en Suisse en septembre 2017 au cours duquel ce guide a eacuteteacute discuteacute ougrave des versions anteacuterieures du guide ont eacuteteacute commenteacutees ou les deux Prisca Benelli (Save the Children) Kate Bingley (Christian Aid) Jonathan Breckon (Alliance for Useful Evidence) Alyoscia DOnofrio (International Rescue Committee - IRC) Tarah Friend (UK Department for International Development - DfID) Tara Karul (International Initiative for Impact Evaluation - 3ie) Paul Knox -Clarke (Active Learning Network for Accountability and Performance - ALNAP) Flurina Kuhn (UK Science amp Innovation Network) David Loquercio (Core Humanitarian Standard on Quality and Accountability - CHS) Tim Martineau (Liverpool School of Tropical Medicine - LSTM) Virginia Murray (Public Health England - PHE) Alice Obrecht (ALNAP) Aninia Nadig (Sphere Project) Adina Rom (ETH Zurich) Rodolfo Rossi (International Committee of the Red Cross - ICRC) Eva Svoboda (Overseas Development Institute ndash ODI and Humanitarian Policy Group - HPG) Pierluigi Testa (Terre des hommes) Erik Von Elm (Cochrane Switzerland) Karin Wendt (Humanitarian Exchange and Research Centre - ICI)

Par ailleurs les organisations suivantes ont contribueacute en fournissant des exemples (y compris des eacutetudes de cas) et dautres contenus 3ie ALNAP Christian Aid Evidence Aid International Committee of the Red Cross International Rescue Committee Liverpool School of Tropical Medicine London School of Hygiene and Tropical Medicine Overseas Development Institute Public Health England Save the Children et ShelterBox

REMERCIEMENTS

CITATIONCe document devrait ecirctre citeacute sous la forme suivante Blanchet K Allen C Breckon J Davies P Duclos D Jansen J Mthiyane H Clarke M (2018) Using Research Evidence in the Humanitarian Sector A practice guide London UK Evidence Aid London School of Hygiene and Tropical Medicine and Nesta (Alliance for Useful Evidence)

AUTEURSCe document a eacuteteacute eacutecrit par Karl Blancheta Claire Allenb Jonathan Breckonc Phil Daviesb Diane Duclosb Jerien Jansenb Helen Mthiyanec et Mike Clarkeb (a Health in Humanitarian Crisis Centre London School of Hygiene and Tropical Medicine b Evidence Aid c Nesta Alliance for Useful Evidence)

FINANCEMENTCe document a eacuteteacute financeacute par le UK Science amp Innovation Network (repreacutesenteacute par SIN Switzerland Ambassade de Grande-Bretagne agrave Berne)

CORRESPONDANCELa correspondance concernant ce document doit ecirctre adresseacutee agrave Karl Blanchet Directeur du Centre de santeacute dans les crises humanitaires au sein de lEacutecole dhygiegravene amp de meacutedecine tropicale de Londres situeacutee Tavistock Place agrave Londres au Royaume-Uni et Mike Clarke directeur de la recherche chez Evidence Aid au sein du Centre pour la santeacute publique Universiteacute Queens agrave Belfast ICS Block A Royal Hospitals Belfast eacutegalement au Royaume-Uni

Karl KarlBlanchetlshtmacuk Mike mclarkequbacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

1 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Evidence Aid (wwwevidenceaidorg) deacutefend une approche fondeacutee sur des preuves dans le secteur humanitaire Sa mission est de soulager les souffrances et de sauver des vies en fournissant les meilleures preuves disponibles sur lefficaciteacute de laction humanitaire et en permettant son utilisation Evidence Aid a deacuteveloppeacute une gamme de ressources disponibles gratuitement sur son site Web Celles-ci comprennent des examens systeacutematiques des interventions en cas de catastrophe de crise humanitaire et drsquoautres urgences majeures Evidence Aid organise des eacuteveacutenements pour promouvoir lutilisation des preuves dans le secteur humanitaire notamment une Semaine de la preuve humanitaire en novembre en collaboration avec le Center for Evidence-Based Medicine de lUniversiteacute dOxford au Royaume-Uni parallegravelement aux salons Evidence Lounges Ces salons (Evidence Lounges) rassemblent des praticiens et des membres de la communauteacute de recherche universitaire afin dameacuteliorer les collaborations et de deacutevelopper des moyens pratiques dutiliser les preuves dans le secteur humanitaire y compris le preacutesent guide

Health in Humanitarian Crisis Centre (httpcriseslshtmacuk) agrave la London School of Hygiene and Tropical Medicine geacutenegravere des recherches primaires et des formations sur la santeacute publique dans les situations de crise humanitaire en eacutetroite collaboration avec les agences humanitaires internationales et les centres de recherche des pays toucheacutes pour relever les deacutefis critiques en matiegravere de santeacute

RECAP un programme quadriennal de recherche et de renforcement des capaciteacutes a eacuteteacute lanceacute en 2018 et est axeacute sur la prise de deacutecision et la responsabilisation en reacuteponse aux crises humanitaires et aux eacutepideacutemies Le projet RECAP beacuteneacuteficie du soutien du Royaume-Uni pour la recherche et linnovation dans le cadre du Fonds de recherche pour les deacutefis mondiaux numeacutero de subvention ESP0108731 Le Centre propose eacutegalement des cours aux praticiens via des modules sur les conflits et la santeacute des cours abreacutegeacutes et un MOOC en ligne gratuit sur la santeacute dans les crises humanitaires

Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) est une fondation mondiale pour lrsquoinnovation baseacutee au Royaume-Uni Elle soutient de nouvelles ideacutees pour relever les grands deacutefis de notre eacutepoque des pressions exerceacutees par le vieillissement de la population aux services publics surchargeacutes en passant par un marcheacute du travail en rapide mutation Elle a eacutegalement publieacute plusieurs guides sur lutilisation des donneacutees probantes pour relever ce deacutefi Cette publication sappuie sur lun de ceux-ci laquo Utiliser les donneacutees de recherche un guide pratique raquo Ce guide a eacuteteacute produit par lrsquoeacutequipe des compeacutetences en innovation de Nesta et par lrsquoAlliance for Useful Evidence Le preacutesent guide pour le secteur humanitaire a eacuteteacute mis au point en consultation avec eux et en remerciement envers Nesta qui nous a permis drsquoutiliser une partie de leur contenu

LE TRAVAIL SUR CE GUIDE A EacuteTEacute COORDONNEacute PAR TROIS ORGANISATIONS

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 2

INTRODUCTION 4

Qui peut utiliser ce guide 5Comment utiliser ce guide 5

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6

Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7

Le deacutefi de ne se fier quagrave une opinion professionelle 9

Messages cleacutes de la section A 11

SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12

Cycle de reacuteponse humanitaire 12

Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14

Adopter des ideacutees dautres reacutegions ou secteurs 18

Creacuteer une theacuteorie du changement 19

Messages cleacutes de la section B 19

SECTION C Quels eacuteleacutements devriez-vous choisir 21

Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23

Recherche expeacuterimentale - Pourquoi en faire tout un plat 28

Modegraveles de recherche expeacuterimentale 28

Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30

Lorsque la randomisation est impossible ou inacceptable 30

Modegraveles quasi-expeacuterimentaux 30

Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32

Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32

Messages cleacutes de la partie 1 de la section C 34

Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35

Controcircle reacuteciproque comment aident-ils les deacutecideurs 35

Deacutefinir une recherche laquo de haute qualiteacute raquo 35

Recherche qualitative de haute qualiteacute 37

Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37

Meacuteta-analyse 39

Graphiques en forecirct 39

Eacutevaluation rapide des preuves 40

Limportance de la reacutepeacutetition et de la corroboration 40

Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41

Messages cleacutes de la partie 2 de la section C 42

SECTION D Ougrave devriez-vous chercher des preuves 43

Examiner des reacutesultats de recherche 43

Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44

Messages cleacutes de la section D 45

NOTES EN FIN DE DOCUMENT

Reacutefeacuterences et notes 46

SOMMAIRE

3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4

INTRODUCTION

Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues

Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement

Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme

dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence

La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)

Introduction

Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques

RETOUR AU SOMMAIRE

5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION

Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche

COMMENT SE SERVIR DE CE GUIDE

Le guide se divise en quatre parties principales

QUI PEUT UTILISER CE GUIDE

Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire

SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche

Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 3: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Evidence Aid (wwwevidenceaidorg) deacutefend une approche fondeacutee sur des preuves dans le secteur humanitaire Sa mission est de soulager les souffrances et de sauver des vies en fournissant les meilleures preuves disponibles sur lefficaciteacute de laction humanitaire et en permettant son utilisation Evidence Aid a deacuteveloppeacute une gamme de ressources disponibles gratuitement sur son site Web Celles-ci comprennent des examens systeacutematiques des interventions en cas de catastrophe de crise humanitaire et drsquoautres urgences majeures Evidence Aid organise des eacuteveacutenements pour promouvoir lutilisation des preuves dans le secteur humanitaire notamment une Semaine de la preuve humanitaire en novembre en collaboration avec le Center for Evidence-Based Medicine de lUniversiteacute dOxford au Royaume-Uni parallegravelement aux salons Evidence Lounges Ces salons (Evidence Lounges) rassemblent des praticiens et des membres de la communauteacute de recherche universitaire afin dameacuteliorer les collaborations et de deacutevelopper des moyens pratiques dutiliser les preuves dans le secteur humanitaire y compris le preacutesent guide

Health in Humanitarian Crisis Centre (httpcriseslshtmacuk) agrave la London School of Hygiene and Tropical Medicine geacutenegravere des recherches primaires et des formations sur la santeacute publique dans les situations de crise humanitaire en eacutetroite collaboration avec les agences humanitaires internationales et les centres de recherche des pays toucheacutes pour relever les deacutefis critiques en matiegravere de santeacute

RECAP un programme quadriennal de recherche et de renforcement des capaciteacutes a eacuteteacute lanceacute en 2018 et est axeacute sur la prise de deacutecision et la responsabilisation en reacuteponse aux crises humanitaires et aux eacutepideacutemies Le projet RECAP beacuteneacuteficie du soutien du Royaume-Uni pour la recherche et linnovation dans le cadre du Fonds de recherche pour les deacutefis mondiaux numeacutero de subvention ESP0108731 Le Centre propose eacutegalement des cours aux praticiens via des modules sur les conflits et la santeacute des cours abreacutegeacutes et un MOOC en ligne gratuit sur la santeacute dans les crises humanitaires

Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) est une fondation mondiale pour lrsquoinnovation baseacutee au Royaume-Uni Elle soutient de nouvelles ideacutees pour relever les grands deacutefis de notre eacutepoque des pressions exerceacutees par le vieillissement de la population aux services publics surchargeacutes en passant par un marcheacute du travail en rapide mutation Elle a eacutegalement publieacute plusieurs guides sur lutilisation des donneacutees probantes pour relever ce deacutefi Cette publication sappuie sur lun de ceux-ci laquo Utiliser les donneacutees de recherche un guide pratique raquo Ce guide a eacuteteacute produit par lrsquoeacutequipe des compeacutetences en innovation de Nesta et par lrsquoAlliance for Useful Evidence Le preacutesent guide pour le secteur humanitaire a eacuteteacute mis au point en consultation avec eux et en remerciement envers Nesta qui nous a permis drsquoutiliser une partie de leur contenu

LE TRAVAIL SUR CE GUIDE A EacuteTEacute COORDONNEacute PAR TROIS ORGANISATIONS

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 2

INTRODUCTION 4

Qui peut utiliser ce guide 5Comment utiliser ce guide 5

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6

Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7

Le deacutefi de ne se fier quagrave une opinion professionelle 9

Messages cleacutes de la section A 11

SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12

Cycle de reacuteponse humanitaire 12

Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14

Adopter des ideacutees dautres reacutegions ou secteurs 18

Creacuteer une theacuteorie du changement 19

Messages cleacutes de la section B 19

SECTION C Quels eacuteleacutements devriez-vous choisir 21

Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23

Recherche expeacuterimentale - Pourquoi en faire tout un plat 28

Modegraveles de recherche expeacuterimentale 28

Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30

Lorsque la randomisation est impossible ou inacceptable 30

Modegraveles quasi-expeacuterimentaux 30

Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32

Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32

Messages cleacutes de la partie 1 de la section C 34

Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35

Controcircle reacuteciproque comment aident-ils les deacutecideurs 35

Deacutefinir une recherche laquo de haute qualiteacute raquo 35

Recherche qualitative de haute qualiteacute 37

Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37

Meacuteta-analyse 39

Graphiques en forecirct 39

Eacutevaluation rapide des preuves 40

Limportance de la reacutepeacutetition et de la corroboration 40

Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41

Messages cleacutes de la partie 2 de la section C 42

SECTION D Ougrave devriez-vous chercher des preuves 43

Examiner des reacutesultats de recherche 43

Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44

Messages cleacutes de la section D 45

NOTES EN FIN DE DOCUMENT

Reacutefeacuterences et notes 46

SOMMAIRE

3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4

INTRODUCTION

Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues

Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement

Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme

dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence

La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)

Introduction

Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques

RETOUR AU SOMMAIRE

5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION

Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche

COMMENT SE SERVIR DE CE GUIDE

Le guide se divise en quatre parties principales

QUI PEUT UTILISER CE GUIDE

Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire

SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche

Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 4: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION 4

Qui peut utiliser ce guide 5Comment utiliser ce guide 5

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6

Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7

Le deacutefi de ne se fier quagrave une opinion professionelle 9

Messages cleacutes de la section A 11

SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12

Cycle de reacuteponse humanitaire 12

Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14

Adopter des ideacutees dautres reacutegions ou secteurs 18

Creacuteer une theacuteorie du changement 19

Messages cleacutes de la section B 19

SECTION C Quels eacuteleacutements devriez-vous choisir 21

Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23

Recherche expeacuterimentale - Pourquoi en faire tout un plat 28

Modegraveles de recherche expeacuterimentale 28

Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30

Lorsque la randomisation est impossible ou inacceptable 30

Modegraveles quasi-expeacuterimentaux 30

Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32

Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32

Messages cleacutes de la partie 1 de la section C 34

Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35

Controcircle reacuteciproque comment aident-ils les deacutecideurs 35

Deacutefinir une recherche laquo de haute qualiteacute raquo 35

Recherche qualitative de haute qualiteacute 37

Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37

Meacuteta-analyse 39

Graphiques en forecirct 39

Eacutevaluation rapide des preuves 40

Limportance de la reacutepeacutetition et de la corroboration 40

Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41

Messages cleacutes de la partie 2 de la section C 42

SECTION D Ougrave devriez-vous chercher des preuves 43

Examiner des reacutesultats de recherche 43

Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44

Messages cleacutes de la section D 45

NOTES EN FIN DE DOCUMENT

Reacutefeacuterences et notes 46

SOMMAIRE

3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4

INTRODUCTION

Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues

Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement

Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme

dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence

La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)

Introduction

Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques

RETOUR AU SOMMAIRE

5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION

Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche

COMMENT SE SERVIR DE CE GUIDE

Le guide se divise en quatre parties principales

QUI PEUT UTILISER CE GUIDE

Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire

SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche

Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 5: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4

INTRODUCTION

Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues

Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement

Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme

dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence

La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)

Introduction

Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques

RETOUR AU SOMMAIRE

5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION

Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche

COMMENT SE SERVIR DE CE GUIDE

Le guide se divise en quatre parties principales

QUI PEUT UTILISER CE GUIDE

Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire

SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche

Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 6: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

INTRODUCTION

Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche

COMMENT SE SERVIR DE CE GUIDE

Le guide se divise en quatre parties principales

QUI PEUT UTILISER CE GUIDE

Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire

SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas

SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche

Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 7: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6

Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire

Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4

Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance

Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel

des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture

Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 8: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues

Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves

Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DEacuteCISIONEXPEacuteRIENCE

ET JUGEMENTS DES

PRATICIENS

RECHERCHE EN EacuteVALUATION

CONTEXTE ORGANISATION

ACTEURS CIRCONSTANCES

LES PARTIES PRENANTES (par exemple

les employeacutes les preacutefeacuterences ou

les valeurs)

La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation

Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 9: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8

Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre

des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D

La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo

Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo

La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la

Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 10: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris

LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles

Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif

Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation

souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas

Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 11: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10

Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude

Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut

Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue

Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains

Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )

La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer

La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants

Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas

Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes

Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15

RETOUR AU SOMMAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 12: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE

11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels

Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes

Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves

La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions

Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale

En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617

Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires

Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires

tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires

Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages

Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires

EacuteTUDE DE CAS

Messages cleacutes de la section A

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12

Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins

Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique

CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle

Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21

Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22

LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose

Arrecircter de faire quelque chose

Proposer des options et apporter des arguments

Identifier les prioriteacutes

Eacutevaluer les besoins

Aligner les services avec les besoins

Concevoir et mettre en œuvre des programmes plus efficaces

Deacutevelopper des demandes de financement

Creacuteer des campagnes de sensibilisation efficaces

Accroicirctre la responsabilisation des parties prenantes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET

ANALYSE DES BESOINS

PLANIFICATION STRATEacuteGIQUE

EXAMEN OPEacuteRATIONNEL

PAR LES PAIRS ET EacuteVALUATION

MOBILISATION DES RESSOURCES

MISE EN ŒUVRE ET SUIVI

COORDINATION

GESTION DE LINFORMATION

Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23

Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence

Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14

DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique

Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25

Figure B2 La spirale dinnovation de Nesta

1

2

3

4 5

6

7

1 Exploration des opportuniteacutes et des deacutefis

2 Production dideacutees

3 Deacuteveloppement et test

4 Apporter des arguments

5 Prestation et mise en œuvre

6 Croissance et eacutevolution

7 Changement de systegravemes

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS

Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)

Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme

Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme

Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des

professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles

Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire

ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits

Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16

2 PRODUCTION DIDEacuteES

Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute

3 DEacuteVELOPPEMENT ET TEST

Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact

Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact

4 APPORTER DES ARGUMENTS

Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)

En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme

Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans

Mateacuteriaux traiteacutes avec des insecticides

Vaccin Hib (meacuteningite)

Allaitement maternel

Compleacutements alimentaires

Compleacutements en vitamine A et en zinc

Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018

Preacutesentation de preuves aux dirigeants des agences locales

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

5 PRESTATION ET MISE EN ŒUVRE

Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)

3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission

Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les

informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur

Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED

ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain

Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures

Partenariats dans le domaine des eacutevaluations dimpact

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18

6) CROISSANCE EacuteVOLUTION ET DIFFUSION

La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives

7) CHANGEMENT DES SYSTEgraveMES

Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits

ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute

laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour

une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28

Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes

Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees

Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30

Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels

Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages

Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer

Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C

Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)

Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail

Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace

Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes

Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider

Messages cleacutes de la Section B

RETOUR AU SOMMAIRE

SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20

Exem

ple

de

theacuteo

rie

du

chan

gem

ent

app

liqueacute

e agrave

la r

eacutesili

ence

des

com

mun

auteacute

s

Out

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

e

http

s

cwar

ham

wor

dpre

ssc

om2

017

02

02

shel

terb

ox-t

heor

y-of

-cha

nge

Protection physique

Bien-ecirctrepsychologique

Dim

inut

ion

du

stre

ss e

t d

e la

nxieacute

teacute

Am

eacutelio

ratio

n d

e la

vie

priv

eacutee e

t d

igni

teacute p

reacutese

rveacutee

THEacuteO

RIE

DU

C

HA

NG

EMEN

TM

ateacuter

iau

Am

eacutelio

ratio

nG

estio

nfin

anci

egravere

Info

rmat

ions

Eacuteva

luat

ion

rap

ide

des

b

eso

ins

app

rofo

ndis

Eacuteval

uatio

n de

sbe

soin

s ap

prof

ondi

s

Seacutecu

riteacute

amp s

ucircret

eacuteLo

gist

ique

Eng

agem

ent

de la

com

mun

auteacute

Con

diti

ons

preacutea

labl

esbull

Beacuten

eacutefici

aire

deacutes

ireux

de

par

ticip

erbull

Stru

ctur

e d

e d

irect

ion

loca

le e

n p

lace

bull Le

s in

terv

enan

ts a

pp

uien

t li

nter

vent

ion

HY

POTH

EgraveSES

bull Seacute

lect

ion

de

laid

e ap

pro

prieacute

e en

fonc

tion

du

cont

exte

bull R

esp

ect

du

prin

cip

e laquo

Do

no

har

m raquo

(ne

pas

nu

ire)

bull Se

nsib

ilisa

tion

des

gro

upes

no

n b

eacuteneacutefi

ciai

res

bull Eacute

leacutem

ents

da

bri

utili

seacutes

aux

fins

preacute

vues

bull Eacute

valu

atio

n d

es b

eso

ins

per

tinen

ts e

t d

es

bes

oin

s

des

gro

upes

vul

neacutera

ble

s p

ris e

n co

mp

tebull

Log

istiq

ue fo

nctio

nnel

le c

oo

rdin

atio

n

et c

om

mun

icat

ion

Coo

rdin

atio

namp

sig

nale

men

tSu

rvei

llanc

eamp

reacutefle

xion

ENTR

EacuteES

Lin

terv

entio

n d

e Sh

elte

rBox

est

tra

nsp

aren

te

Pro

tect

ion

cont

re le

s in

tem

peacuter

ies

et le

s co

nditi

ons

envi

ronn

emen

tale

s ex

trecircm

es

Aug

men

tatio

n d

e la

seacutec

uriteacute

per

sonn

elle

et

de

la s

eacutecur

iteacute d

es

bie

ns

Pro

tect

ion

accr

ue c

ontr

e le

s m

alad

ies

tran

smis

es p

ar l

eau

et

vect

orie

lles

Reacuted

uctio

n d

es d

eacutepla

cem

ents

des

meacuten

ages

Les

meacuten

ages

et

les

com

mun

auteacute

s so

nt in

tact

s

Con

nais

sanc

es e

t co

mp

eacuteten

ces

per

met

tant

du

tilis

er le

mat

eacuterie

l fo

urni

AC

TIV

ITEacuteS

Four

nitu

re e

ffica

ce

et o

pp

ort

une

da

bris

REacuteS

ULT

AT

REacuteS

ULT

ATS

Agrave C

OU

RT

ET Agrave

MO

YEN

TER

ME

de

la r

eacutesili

ence

hum

aine

et

ou

de

la c

apac

iteacute d

aut

o-

reacuteta

blis

sem

ent

(meacuten

ages

co

mm

unau

teacutes)

CO

NTR

IBU

TIO

N A

U N

IVEA

U D

IMPA

CT

DES

C

HA

NG

EMEN

TSbull

Am

eacutelio

ratio

n d

e la

san

teacute e

t d

u b

ien-

ecirctre

p

sych

olo

giq

uebull

Am

eacutelio

ratio

n d

e la

ccegraves

agrave l

ense

igne

men

t et

du

mai

ntie

n d

ans

lens

eig

nem

ent

bull D

imin

utio

n d

u ta

ux d

e m

orb

iditeacute

et

de

mo

rtal

iteacutebull

Gar

antie

de

mai

ntie

n d

ans

les

lieux

bull A

ccegraves

faci

liteacute

aux

serv

ices

de

bas

ebull

Ren

forc

emen

t d

es s

truc

ture

s so

cial

esbull

Moy

ens

de

xist

ence

mai

nten

usbull

Co

mm

unau

teacute p

lus

reacutesi

lient

e fa

ce a

ux c

atas

tro

phe

s fu

ture

s

REacuteS

ULT

AT

Agrave L

ON

G T

ERM

E

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Toutes les preuves ne se valent pas

Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes

Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33

De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population

Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22

Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39

Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers

deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38

Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola

La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES

Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas

Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international

Certains types de recherche (tels que les conceptions expeacuterimentales et

quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute

Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32

Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental

Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142

Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes

Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population

Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives

Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu

Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes

Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Eacutetudes de cas-teacutemoins

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides

Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)

Eacutevaluation du processus

Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus

Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre

Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes

Eacutevaluation eacuteconomique

Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute

Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer

Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

En coupe transversale

Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles

Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes

Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion

Eacutetudes de cohortes longitudinales

Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse

Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes

Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Conception quasi expeacuterimentale

Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent

Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation

Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

TYPES DE RECHERCHE ET DEacuteVALUATION

DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS

Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe

Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue

Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences

Revues systeacutematiques meacuteta-analyses

Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues

Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude

Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28

RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct

Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet

Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43

Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44

MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus

Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire

Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis

Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45

LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46

Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide

Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47

Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau

ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire

Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95

Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence

Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30

QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai

LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552

MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent

donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54

Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55

Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar

Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population

1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels

2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil

3 Les populations daccueil

La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non

enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh

Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise

Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion

Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32

AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo

Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo

Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de

lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps

Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples

EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes

Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme

Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices

Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices

Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave

recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo

En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste

Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34

Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever

Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate

Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes

Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute

Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions

Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini

Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo

Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention

Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population

Messages cleacutes pour la partie 1 de la section C

Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE

Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable

La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle

EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les

reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66

Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance

DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36

Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise

Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir

Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo

qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche

La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72

Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative

Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais

Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees

UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles

et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76

Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute

Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38

Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques

Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre

Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer

Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles

Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel

Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique

En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit

InclusiveAssocie les deacutecideurs et pertinent pour eux

Inclut de nombreux diffeacuterents types et sources de donneacutees

Implique des compeacutetences et personnes varieacutees

Rigoureuse

Utilise un ensemble de donneacutees le plus complet possible

Reconnaicirct les partis pris et veille agrave les minimiser

Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute

TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute

Identifie les difficulteacutes et les points litigieux

Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes

Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent

AccessibleEst reacutedigeacutee dans un langage clair

Est disponible pour une dureacutee approprieacutee

Est librement accessible en ligne

EacuteTUDE DE CAS

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte

LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique

Mesure Continu d (Hedges g)

Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)

Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | 0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorise lintervention Favorise le controcircle

-1 0 05 1

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40

(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention

EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre

une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete

Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible

Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie

LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires

Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes

inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales

REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee

Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions

La question est-elle clairement poseacutee

La recherche deacutetudes pertinentes est-elle approfondie

Les critegraveres drsquoinclusion eacutetaient-ils pertinents

La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate

A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux

Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite

Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution

Les conclusions deacutecoulent-elles bien des donneacutees examineacutees

Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes

Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides

Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41

La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)

La taille de lensemble des preuves

Le contexte dans lequel la preuve est deacutefinie

La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves

RETOUR AU SOMMAIRE

SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42

Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs

Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres

Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites

plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste

Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes

Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89

Messages cleacutes pour la partie 2 de la section C

Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute

Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif

Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee

On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne

Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des

milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes

Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous

Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44

Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure

Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)

Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)

Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)

Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)

Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)

Reacutefeacuterences dans les articles

Correspondance avec les chercheurs et les eacutevaluateurs

SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants

Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations

Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires

LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of

Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer

Synonymes de diffeacuterents temps et lieux

Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse

Une formulation plus large

Une formulation plus eacutetroite ou plus cibleacutee

Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques

Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee

RETOUR AU SOMMAIRE

SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES

45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence

Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet

La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher

des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps

Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche

Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche

Messages importants pour la section D

CONCLUSION

En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique

Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques

Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46

Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30

2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371

5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international

14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881

16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace

21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation

30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48

40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721

41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49

45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80

59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development

62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28

64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)

68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific

Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2

70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice

73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants

RETOUR AU SOMMAIRE

NOTES EN FIN DE DOCUMENT

REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301

76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115

89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield

RETOUR AU SOMMAIRE

Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast

mclarkequbacuk | wwwqubacuk

Photo de couverture copy Patrick BrownUNICEFPanos Pictures

La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue

Page 13: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 14: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 15: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 16: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 17: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 18: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 19: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 20: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 21: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 22: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 23: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 24: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 25: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 26: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 27: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 28: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 29: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 30: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 31: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 32: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 33: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 34: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 35: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 36: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 37: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 38: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 39: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 40: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 41: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 42: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 43: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 44: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 45: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 46: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 47: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 48: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 49: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 50: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 51: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Page 52: RÉSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE