View
2
Download
0
Category
Preview:
Citation preview
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIREUN GUIDE PRATIQUE
Nous sommes tregraves reconnaissants envers ceux qui ont participeacute au salon Evidence Lounge agrave Genegraveve en Suisse en septembre 2017 au cours duquel ce guide a eacuteteacute discuteacute ougrave des versions anteacuterieures du guide ont eacuteteacute commenteacutees ou les deux Prisca Benelli (Save the Children) Kate Bingley (Christian Aid) Jonathan Breckon (Alliance for Useful Evidence) Alyoscia DOnofrio (International Rescue Committee - IRC) Tarah Friend (UK Department for International Development - DfID) Tara Karul (International Initiative for Impact Evaluation - 3ie) Paul Knox -Clarke (Active Learning Network for Accountability and Performance - ALNAP) Flurina Kuhn (UK Science amp Innovation Network) David Loquercio (Core Humanitarian Standard on Quality and Accountability - CHS) Tim Martineau (Liverpool School of Tropical Medicine - LSTM) Virginia Murray (Public Health England - PHE) Alice Obrecht (ALNAP) Aninia Nadig (Sphere Project) Adina Rom (ETH Zurich) Rodolfo Rossi (International Committee of the Red Cross - ICRC) Eva Svoboda (Overseas Development Institute ndash ODI and Humanitarian Policy Group - HPG) Pierluigi Testa (Terre des hommes) Erik Von Elm (Cochrane Switzerland) Karin Wendt (Humanitarian Exchange and Research Centre - ICI)
Par ailleurs les organisations suivantes ont contribueacute en fournissant des exemples (y compris des eacutetudes de cas) et dautres contenus 3ie ALNAP Christian Aid Evidence Aid International Committee of the Red Cross International Rescue Committee Liverpool School of Tropical Medicine London School of Hygiene and Tropical Medicine Overseas Development Institute Public Health England Save the Children et ShelterBox
REMERCIEMENTS
CITATIONCe document devrait ecirctre citeacute sous la forme suivante Blanchet K Allen C Breckon J Davies P Duclos D Jansen J Mthiyane H Clarke M (2018) Using Research Evidence in the Humanitarian Sector A practice guide London UK Evidence Aid London School of Hygiene and Tropical Medicine and Nesta (Alliance for Useful Evidence)
AUTEURSCe document a eacuteteacute eacutecrit par Karl Blancheta Claire Allenb Jonathan Breckonc Phil Daviesb Diane Duclosb Jerien Jansenb Helen Mthiyanec et Mike Clarkeb (a Health in Humanitarian Crisis Centre London School of Hygiene and Tropical Medicine b Evidence Aid c Nesta Alliance for Useful Evidence)
FINANCEMENTCe document a eacuteteacute financeacute par le UK Science amp Innovation Network (repreacutesenteacute par SIN Switzerland Ambassade de Grande-Bretagne agrave Berne)
CORRESPONDANCELa correspondance concernant ce document doit ecirctre adresseacutee agrave Karl Blanchet Directeur du Centre de santeacute dans les crises humanitaires au sein de lEacutecole dhygiegravene amp de meacutedecine tropicale de Londres situeacutee Tavistock Place agrave Londres au Royaume-Uni et Mike Clarke directeur de la recherche chez Evidence Aid au sein du Centre pour la santeacute publique Universiteacute Queens agrave Belfast ICS Block A Royal Hospitals Belfast eacutegalement au Royaume-Uni
Karl KarlBlanchetlshtmacuk Mike mclarkequbacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
1 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Evidence Aid (wwwevidenceaidorg) deacutefend une approche fondeacutee sur des preuves dans le secteur humanitaire Sa mission est de soulager les souffrances et de sauver des vies en fournissant les meilleures preuves disponibles sur lefficaciteacute de laction humanitaire et en permettant son utilisation Evidence Aid a deacuteveloppeacute une gamme de ressources disponibles gratuitement sur son site Web Celles-ci comprennent des examens systeacutematiques des interventions en cas de catastrophe de crise humanitaire et drsquoautres urgences majeures Evidence Aid organise des eacuteveacutenements pour promouvoir lutilisation des preuves dans le secteur humanitaire notamment une Semaine de la preuve humanitaire en novembre en collaboration avec le Center for Evidence-Based Medicine de lUniversiteacute dOxford au Royaume-Uni parallegravelement aux salons Evidence Lounges Ces salons (Evidence Lounges) rassemblent des praticiens et des membres de la communauteacute de recherche universitaire afin dameacuteliorer les collaborations et de deacutevelopper des moyens pratiques dutiliser les preuves dans le secteur humanitaire y compris le preacutesent guide
Health in Humanitarian Crisis Centre (httpcriseslshtmacuk) agrave la London School of Hygiene and Tropical Medicine geacutenegravere des recherches primaires et des formations sur la santeacute publique dans les situations de crise humanitaire en eacutetroite collaboration avec les agences humanitaires internationales et les centres de recherche des pays toucheacutes pour relever les deacutefis critiques en matiegravere de santeacute
RECAP un programme quadriennal de recherche et de renforcement des capaciteacutes a eacuteteacute lanceacute en 2018 et est axeacute sur la prise de deacutecision et la responsabilisation en reacuteponse aux crises humanitaires et aux eacutepideacutemies Le projet RECAP beacuteneacuteficie du soutien du Royaume-Uni pour la recherche et linnovation dans le cadre du Fonds de recherche pour les deacutefis mondiaux numeacutero de subvention ESP0108731 Le Centre propose eacutegalement des cours aux praticiens via des modules sur les conflits et la santeacute des cours abreacutegeacutes et un MOOC en ligne gratuit sur la santeacute dans les crises humanitaires
Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) est une fondation mondiale pour lrsquoinnovation baseacutee au Royaume-Uni Elle soutient de nouvelles ideacutees pour relever les grands deacutefis de notre eacutepoque des pressions exerceacutees par le vieillissement de la population aux services publics surchargeacutes en passant par un marcheacute du travail en rapide mutation Elle a eacutegalement publieacute plusieurs guides sur lutilisation des donneacutees probantes pour relever ce deacutefi Cette publication sappuie sur lun de ceux-ci laquo Utiliser les donneacutees de recherche un guide pratique raquo Ce guide a eacuteteacute produit par lrsquoeacutequipe des compeacutetences en innovation de Nesta et par lrsquoAlliance for Useful Evidence Le preacutesent guide pour le secteur humanitaire a eacuteteacute mis au point en consultation avec eux et en remerciement envers Nesta qui nous a permis drsquoutiliser une partie de leur contenu
LE TRAVAIL SUR CE GUIDE A EacuteTEacute COORDONNEacute PAR TROIS ORGANISATIONS
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 2
INTRODUCTION 4
Qui peut utiliser ce guide 5Comment utiliser ce guide 5
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6
Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7
Le deacutefi de ne se fier quagrave une opinion professionelle 9
Messages cleacutes de la section A 11
SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12
Cycle de reacuteponse humanitaire 12
Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14
Adopter des ideacutees dautres reacutegions ou secteurs 18
Creacuteer une theacuteorie du changement 19
Messages cleacutes de la section B 19
SECTION C Quels eacuteleacutements devriez-vous choisir 21
Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23
Recherche expeacuterimentale - Pourquoi en faire tout un plat 28
Modegraveles de recherche expeacuterimentale 28
Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30
Lorsque la randomisation est impossible ou inacceptable 30
Modegraveles quasi-expeacuterimentaux 30
Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32
Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32
Messages cleacutes de la partie 1 de la section C 34
Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35
Controcircle reacuteciproque comment aident-ils les deacutecideurs 35
Deacutefinir une recherche laquo de haute qualiteacute raquo 35
Recherche qualitative de haute qualiteacute 37
Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37
Meacuteta-analyse 39
Graphiques en forecirct 39
Eacutevaluation rapide des preuves 40
Limportance de la reacutepeacutetition et de la corroboration 40
Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41
Messages cleacutes de la partie 2 de la section C 42
SECTION D Ougrave devriez-vous chercher des preuves 43
Examiner des reacutesultats de recherche 43
Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44
Messages cleacutes de la section D 45
NOTES EN FIN DE DOCUMENT
Reacutefeacuterences et notes 46
SOMMAIRE
3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4
INTRODUCTION
Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues
Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement
Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme
dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence
La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)
Introduction
Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques
RETOUR AU SOMMAIRE
5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
INTRODUCTION
Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche
COMMENT SE SERVIR DE CE GUIDE
Le guide se divise en quatre parties principales
QUI PEUT UTILISER CE GUIDE
Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire
SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche
Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
Nous sommes tregraves reconnaissants envers ceux qui ont participeacute au salon Evidence Lounge agrave Genegraveve en Suisse en septembre 2017 au cours duquel ce guide a eacuteteacute discuteacute ougrave des versions anteacuterieures du guide ont eacuteteacute commenteacutees ou les deux Prisca Benelli (Save the Children) Kate Bingley (Christian Aid) Jonathan Breckon (Alliance for Useful Evidence) Alyoscia DOnofrio (International Rescue Committee - IRC) Tarah Friend (UK Department for International Development - DfID) Tara Karul (International Initiative for Impact Evaluation - 3ie) Paul Knox -Clarke (Active Learning Network for Accountability and Performance - ALNAP) Flurina Kuhn (UK Science amp Innovation Network) David Loquercio (Core Humanitarian Standard on Quality and Accountability - CHS) Tim Martineau (Liverpool School of Tropical Medicine - LSTM) Virginia Murray (Public Health England - PHE) Alice Obrecht (ALNAP) Aninia Nadig (Sphere Project) Adina Rom (ETH Zurich) Rodolfo Rossi (International Committee of the Red Cross - ICRC) Eva Svoboda (Overseas Development Institute ndash ODI and Humanitarian Policy Group - HPG) Pierluigi Testa (Terre des hommes) Erik Von Elm (Cochrane Switzerland) Karin Wendt (Humanitarian Exchange and Research Centre - ICI)
Par ailleurs les organisations suivantes ont contribueacute en fournissant des exemples (y compris des eacutetudes de cas) et dautres contenus 3ie ALNAP Christian Aid Evidence Aid International Committee of the Red Cross International Rescue Committee Liverpool School of Tropical Medicine London School of Hygiene and Tropical Medicine Overseas Development Institute Public Health England Save the Children et ShelterBox
REMERCIEMENTS
CITATIONCe document devrait ecirctre citeacute sous la forme suivante Blanchet K Allen C Breckon J Davies P Duclos D Jansen J Mthiyane H Clarke M (2018) Using Research Evidence in the Humanitarian Sector A practice guide London UK Evidence Aid London School of Hygiene and Tropical Medicine and Nesta (Alliance for Useful Evidence)
AUTEURSCe document a eacuteteacute eacutecrit par Karl Blancheta Claire Allenb Jonathan Breckonc Phil Daviesb Diane Duclosb Jerien Jansenb Helen Mthiyanec et Mike Clarkeb (a Health in Humanitarian Crisis Centre London School of Hygiene and Tropical Medicine b Evidence Aid c Nesta Alliance for Useful Evidence)
FINANCEMENTCe document a eacuteteacute financeacute par le UK Science amp Innovation Network (repreacutesenteacute par SIN Switzerland Ambassade de Grande-Bretagne agrave Berne)
CORRESPONDANCELa correspondance concernant ce document doit ecirctre adresseacutee agrave Karl Blanchet Directeur du Centre de santeacute dans les crises humanitaires au sein de lEacutecole dhygiegravene amp de meacutedecine tropicale de Londres situeacutee Tavistock Place agrave Londres au Royaume-Uni et Mike Clarke directeur de la recherche chez Evidence Aid au sein du Centre pour la santeacute publique Universiteacute Queens agrave Belfast ICS Block A Royal Hospitals Belfast eacutegalement au Royaume-Uni
Karl KarlBlanchetlshtmacuk Mike mclarkequbacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
1 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Evidence Aid (wwwevidenceaidorg) deacutefend une approche fondeacutee sur des preuves dans le secteur humanitaire Sa mission est de soulager les souffrances et de sauver des vies en fournissant les meilleures preuves disponibles sur lefficaciteacute de laction humanitaire et en permettant son utilisation Evidence Aid a deacuteveloppeacute une gamme de ressources disponibles gratuitement sur son site Web Celles-ci comprennent des examens systeacutematiques des interventions en cas de catastrophe de crise humanitaire et drsquoautres urgences majeures Evidence Aid organise des eacuteveacutenements pour promouvoir lutilisation des preuves dans le secteur humanitaire notamment une Semaine de la preuve humanitaire en novembre en collaboration avec le Center for Evidence-Based Medicine de lUniversiteacute dOxford au Royaume-Uni parallegravelement aux salons Evidence Lounges Ces salons (Evidence Lounges) rassemblent des praticiens et des membres de la communauteacute de recherche universitaire afin dameacuteliorer les collaborations et de deacutevelopper des moyens pratiques dutiliser les preuves dans le secteur humanitaire y compris le preacutesent guide
Health in Humanitarian Crisis Centre (httpcriseslshtmacuk) agrave la London School of Hygiene and Tropical Medicine geacutenegravere des recherches primaires et des formations sur la santeacute publique dans les situations de crise humanitaire en eacutetroite collaboration avec les agences humanitaires internationales et les centres de recherche des pays toucheacutes pour relever les deacutefis critiques en matiegravere de santeacute
RECAP un programme quadriennal de recherche et de renforcement des capaciteacutes a eacuteteacute lanceacute en 2018 et est axeacute sur la prise de deacutecision et la responsabilisation en reacuteponse aux crises humanitaires et aux eacutepideacutemies Le projet RECAP beacuteneacuteficie du soutien du Royaume-Uni pour la recherche et linnovation dans le cadre du Fonds de recherche pour les deacutefis mondiaux numeacutero de subvention ESP0108731 Le Centre propose eacutegalement des cours aux praticiens via des modules sur les conflits et la santeacute des cours abreacutegeacutes et un MOOC en ligne gratuit sur la santeacute dans les crises humanitaires
Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) est une fondation mondiale pour lrsquoinnovation baseacutee au Royaume-Uni Elle soutient de nouvelles ideacutees pour relever les grands deacutefis de notre eacutepoque des pressions exerceacutees par le vieillissement de la population aux services publics surchargeacutes en passant par un marcheacute du travail en rapide mutation Elle a eacutegalement publieacute plusieurs guides sur lutilisation des donneacutees probantes pour relever ce deacutefi Cette publication sappuie sur lun de ceux-ci laquo Utiliser les donneacutees de recherche un guide pratique raquo Ce guide a eacuteteacute produit par lrsquoeacutequipe des compeacutetences en innovation de Nesta et par lrsquoAlliance for Useful Evidence Le preacutesent guide pour le secteur humanitaire a eacuteteacute mis au point en consultation avec eux et en remerciement envers Nesta qui nous a permis drsquoutiliser une partie de leur contenu
LE TRAVAIL SUR CE GUIDE A EacuteTEacute COORDONNEacute PAR TROIS ORGANISATIONS
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 2
INTRODUCTION 4
Qui peut utiliser ce guide 5Comment utiliser ce guide 5
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6
Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7
Le deacutefi de ne se fier quagrave une opinion professionelle 9
Messages cleacutes de la section A 11
SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12
Cycle de reacuteponse humanitaire 12
Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14
Adopter des ideacutees dautres reacutegions ou secteurs 18
Creacuteer une theacuteorie du changement 19
Messages cleacutes de la section B 19
SECTION C Quels eacuteleacutements devriez-vous choisir 21
Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23
Recherche expeacuterimentale - Pourquoi en faire tout un plat 28
Modegraveles de recherche expeacuterimentale 28
Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30
Lorsque la randomisation est impossible ou inacceptable 30
Modegraveles quasi-expeacuterimentaux 30
Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32
Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32
Messages cleacutes de la partie 1 de la section C 34
Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35
Controcircle reacuteciproque comment aident-ils les deacutecideurs 35
Deacutefinir une recherche laquo de haute qualiteacute raquo 35
Recherche qualitative de haute qualiteacute 37
Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37
Meacuteta-analyse 39
Graphiques en forecirct 39
Eacutevaluation rapide des preuves 40
Limportance de la reacutepeacutetition et de la corroboration 40
Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41
Messages cleacutes de la partie 2 de la section C 42
SECTION D Ougrave devriez-vous chercher des preuves 43
Examiner des reacutesultats de recherche 43
Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44
Messages cleacutes de la section D 45
NOTES EN FIN DE DOCUMENT
Reacutefeacuterences et notes 46
SOMMAIRE
3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4
INTRODUCTION
Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues
Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement
Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme
dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence
La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)
Introduction
Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques
RETOUR AU SOMMAIRE
5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
INTRODUCTION
Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche
COMMENT SE SERVIR DE CE GUIDE
Le guide se divise en quatre parties principales
QUI PEUT UTILISER CE GUIDE
Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire
SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche
Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
Evidence Aid (wwwevidenceaidorg) deacutefend une approche fondeacutee sur des preuves dans le secteur humanitaire Sa mission est de soulager les souffrances et de sauver des vies en fournissant les meilleures preuves disponibles sur lefficaciteacute de laction humanitaire et en permettant son utilisation Evidence Aid a deacuteveloppeacute une gamme de ressources disponibles gratuitement sur son site Web Celles-ci comprennent des examens systeacutematiques des interventions en cas de catastrophe de crise humanitaire et drsquoautres urgences majeures Evidence Aid organise des eacuteveacutenements pour promouvoir lutilisation des preuves dans le secteur humanitaire notamment une Semaine de la preuve humanitaire en novembre en collaboration avec le Center for Evidence-Based Medicine de lUniversiteacute dOxford au Royaume-Uni parallegravelement aux salons Evidence Lounges Ces salons (Evidence Lounges) rassemblent des praticiens et des membres de la communauteacute de recherche universitaire afin dameacuteliorer les collaborations et de deacutevelopper des moyens pratiques dutiliser les preuves dans le secteur humanitaire y compris le preacutesent guide
Health in Humanitarian Crisis Centre (httpcriseslshtmacuk) agrave la London School of Hygiene and Tropical Medicine geacutenegravere des recherches primaires et des formations sur la santeacute publique dans les situations de crise humanitaire en eacutetroite collaboration avec les agences humanitaires internationales et les centres de recherche des pays toucheacutes pour relever les deacutefis critiques en matiegravere de santeacute
RECAP un programme quadriennal de recherche et de renforcement des capaciteacutes a eacuteteacute lanceacute en 2018 et est axeacute sur la prise de deacutecision et la responsabilisation en reacuteponse aux crises humanitaires et aux eacutepideacutemies Le projet RECAP beacuteneacuteficie du soutien du Royaume-Uni pour la recherche et linnovation dans le cadre du Fonds de recherche pour les deacutefis mondiaux numeacutero de subvention ESP0108731 Le Centre propose eacutegalement des cours aux praticiens via des modules sur les conflits et la santeacute des cours abreacutegeacutes et un MOOC en ligne gratuit sur la santeacute dans les crises humanitaires
Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) est une fondation mondiale pour lrsquoinnovation baseacutee au Royaume-Uni Elle soutient de nouvelles ideacutees pour relever les grands deacutefis de notre eacutepoque des pressions exerceacutees par le vieillissement de la population aux services publics surchargeacutes en passant par un marcheacute du travail en rapide mutation Elle a eacutegalement publieacute plusieurs guides sur lutilisation des donneacutees probantes pour relever ce deacutefi Cette publication sappuie sur lun de ceux-ci laquo Utiliser les donneacutees de recherche un guide pratique raquo Ce guide a eacuteteacute produit par lrsquoeacutequipe des compeacutetences en innovation de Nesta et par lrsquoAlliance for Useful Evidence Le preacutesent guide pour le secteur humanitaire a eacuteteacute mis au point en consultation avec eux et en remerciement envers Nesta qui nous a permis drsquoutiliser une partie de leur contenu
LE TRAVAIL SUR CE GUIDE A EacuteTEacute COORDONNEacute PAR TROIS ORGANISATIONS
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 2
INTRODUCTION 4
Qui peut utiliser ce guide 5Comment utiliser ce guide 5
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6
Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7
Le deacutefi de ne se fier quagrave une opinion professionelle 9
Messages cleacutes de la section A 11
SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12
Cycle de reacuteponse humanitaire 12
Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14
Adopter des ideacutees dautres reacutegions ou secteurs 18
Creacuteer une theacuteorie du changement 19
Messages cleacutes de la section B 19
SECTION C Quels eacuteleacutements devriez-vous choisir 21
Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23
Recherche expeacuterimentale - Pourquoi en faire tout un plat 28
Modegraveles de recherche expeacuterimentale 28
Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30
Lorsque la randomisation est impossible ou inacceptable 30
Modegraveles quasi-expeacuterimentaux 30
Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32
Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32
Messages cleacutes de la partie 1 de la section C 34
Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35
Controcircle reacuteciproque comment aident-ils les deacutecideurs 35
Deacutefinir une recherche laquo de haute qualiteacute raquo 35
Recherche qualitative de haute qualiteacute 37
Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37
Meacuteta-analyse 39
Graphiques en forecirct 39
Eacutevaluation rapide des preuves 40
Limportance de la reacutepeacutetition et de la corroboration 40
Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41
Messages cleacutes de la partie 2 de la section C 42
SECTION D Ougrave devriez-vous chercher des preuves 43
Examiner des reacutesultats de recherche 43
Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44
Messages cleacutes de la section D 45
NOTES EN FIN DE DOCUMENT
Reacutefeacuterences et notes 46
SOMMAIRE
3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4
INTRODUCTION
Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues
Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement
Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme
dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence
La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)
Introduction
Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques
RETOUR AU SOMMAIRE
5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
INTRODUCTION
Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche
COMMENT SE SERVIR DE CE GUIDE
Le guide se divise en quatre parties principales
QUI PEUT UTILISER CE GUIDE
Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire
SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche
Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
INTRODUCTION 4
Qui peut utiliser ce guide 5Comment utiliser ce guide 5
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche 6
Quest-ce quune laquo preuve raquo et pourquoi se concentrer sur la recherche 7
Le deacutefi de ne se fier quagrave une opinion professionelle 9
Messages cleacutes de la section A 11
SECTION B Agrave quel moment les preuves peuvent-elles vous aider 12
Cycle de reacuteponse humanitaire 12
Deacuteveloppement et mise en oeuvre dune nouvelle intervention 14
Adopter des ideacutees dautres reacutegions ou secteurs 18
Creacuteer une theacuteorie du changement 19
Messages cleacutes de la section B 19
SECTION C Quels eacuteleacutements devriez-vous choisir 21
Partie 1 Diffeacuterents types de meacutethodes de recherche de concepts et dapproches 23
Recherche expeacuterimentale - Pourquoi en faire tout un plat 28
Modegraveles de recherche expeacuterimentale 28
Questions pratiques et eacutethiques lieacutees aux eacutetudes randomiseacutees 30
Lorsque la randomisation est impossible ou inacceptable 30
Modegraveles quasi-expeacuterimentaux 30
Au-delagrave de lexpeacuterimentation de nouvelles approches deacutevaluation 32
Est-ce que cela en a valu la peine Linteacuterecirct des analyses coucirct-avantages et coucirct-efficaciteacute 32
Messages cleacutes de la partie 1 de la section C 34
Partie 2 Comment eacutevaluer la qualiteacute dune recherche 35
Controcircle reacuteciproque comment aident-ils les deacutecideurs 35
Deacutefinir une recherche laquo de haute qualiteacute raquo 35
Recherche qualitative de haute qualiteacute 37
Eacuteviter les seacutelections au hasard en utilisant des revues systeacutematiques 37
Meacuteta-analyse 39
Graphiques en forecirct 39
Eacutevaluation rapide des preuves 40
Limportance de la reacutepeacutetition et de la corroboration 40
Examen des publications comment eacutevaluer des faisceaux dindices de haute qualiteacute 41
Messages cleacutes de la partie 2 de la section C 42
SECTION D Ougrave devriez-vous chercher des preuves 43
Examiner des reacutesultats de recherche 43
Sources dexamens systeacutematiques et dautres recherches pour le secteur humanitaire 44
Messages cleacutes de la section D 45
NOTES EN FIN DE DOCUMENT
Reacutefeacuterences et notes 46
SOMMAIRE
3 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4
INTRODUCTION
Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues
Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement
Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme
dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence
La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)
Introduction
Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques
RETOUR AU SOMMAIRE
5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
INTRODUCTION
Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche
COMMENT SE SERVIR DE CE GUIDE
Le guide se divise en quatre parties principales
QUI PEUT UTILISER CE GUIDE
Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire
SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche
Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 4
INTRODUCTION
Les preuves remettent en question ce que nous pourrions penser comme eacutetant du sens commun des connaissances perccedilues ou reccedilues
Par exemple on a longtemps cru que la malnutrition aigueuml seacutevegravere neacutecessitait un traitement speacutecialiseacute dans les eacutetablissements hospitaliers avec des produits theacuterapeutiques mecircme si ce modegravele posait de nombreux problegravemes pour un traitement efficace agrave la fois pour les systegravemes de santeacute et les patients Des aliments theacuterapeutiques precircts agrave lemploi ont eacuteteacute mis au point au milieu des anneacutees 1990 En 2000 des projets pilotes initiaux ont eacuteteacute lanceacutes pour tester lrsquoapproche de la gestion communautaire de la malnutrition aigueuml (MCMA) lors drsquourgences humanitaires1 Elle sest aveacutereacutee tellement efficace quelle a eacuteteacute approuveacutee par les agences des Nations Unies en 20072 et est maintenant consideacutereacutee comme la norme de soins pour la gestion de la malnutrition aigueuml dans les contextes durgence et de deacuteveloppement
Les ressources financiegraveres et autres eacutetant limiteacutees et souvent insuffisantes dans le secteur humanitaire nous ne pouvons pas nous permettre de les gaspiller pour des politiques et des programmes inefficaces Les interventions dans nimporte quel secteur peuvent avoir des reacutesultats agrave la fois positifs et neacutegatifs ainsi que des conseacutequences voulues ou non Mecircme
dans les cas ougrave linvestissement dargent pour reacutesoudre un problegraveme est censeacute faire du bien nous devons nous demander si cet argent pourrait ecirctre deacutepenseacute plus efficacement ailleurs par exemple pour une intervention humanitaire diffeacuterente Les reacutesultats de recherche peuvent vous aider agrave faire des choix eacuteclaireacutes quant aux interventions les plus efficaces agrave mettre en œuvre dans un contexte durgence
La preuve est un domaine contesteacute avec des opinions divergentes sur ce qui devrait ecirctre le plus valoriseacute ou jugeacute le plus pertinent pour les deacutecideurs3 Cependant aux fins de ce guide de pratique nous mettons lrsquoaccent sur des recherches reposant sur des notions scientifiques de preuve de validiteacute de fiabiliteacute et minimisant les biais Une telle recherche preacutesente lavantage de la rigueur de la pertinence et de lindeacutependance Nous nous concentrons sur les eacutetudes de population qui visent agrave geacuteneacuterer des reacuteponses moyennes qui doivent ensuite ecirctre contextualiseacutees par exemple en prenant en compte des facteurs culturels (tels que le recours agrave des meacutedecins de sexe masculin pour examiner et traiter des patientes) et des questions de faisabiliteacute (telles que la capaciteacute de mener une intervention agrave la suite drsquoune catastrophe lorsque lrsquoaccegraves aux populations ou aux ressources peut ecirctre particuliegraverement limiteacute)
Introduction
Les preuves issues de la recherche et de leacutevaluation peuvent vous aider agrave comprendre ce qui fonctionne ougrave pourquoi et pour qui Elles peuvent eacutegalement vous indiquer ce qui ne fonctionne pas et vous aider agrave eacuteviter de reacutepeacuteter les eacutechecs des autres en tirant des enseignements des eacutevaluations de programmes humanitaires infructueux Les donneacutees probantes peuvent eacutegalement guider la conception des moyens les plus efficaces pour reacutealiser des interventions speacutecifiques
RETOUR AU SOMMAIRE
5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
INTRODUCTION
Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche
COMMENT SE SERVIR DE CE GUIDE
Le guide se divise en quatre parties principales
QUI PEUT UTILISER CE GUIDE
Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire
SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche
Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
5 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
INTRODUCTION
Nous avons creacuteeacute ce guide pour vous aider agrave exploiter au mieux les bases factuelles issues de la recherche lorsque vous vous trouvez dans une urgence humanitaire ou lorsque vous planifiez la prochaine urgence Notre intention est de vous aider agrave trouver et agrave utiliser des donneacutees factuelles sur les interventions actions et strateacutegies susceptibles de vous aider agrave faire des choix et des deacutecisions eacuteclaireacutes Ce guide nrsquoexplique pas comment geacuteneacuterer davantage de donneacutees de recherche Il srsquoagit drsquoutiliser et de comprendre les preuves existantes et de reconnaicirctre les preuves manquantes Cela devrait vous aider agrave renforcer votre confiance en la compilation lassimilation la synthegravese et linterpreacutetation dune base de donneacutees solide de recherches existantes et agrave reacutefleacutechir agrave la maniegravere dont vous pourriez eacutevaluer vos propres projets et commander une eacutetude ou une recherche
COMMENT SE SERVIR DE CE GUIDE
Le guide se divise en quatre parties principales
QUI PEUT UTILISER CE GUIDE
Ce guide pratique est principalement destineacute aux deacutecideurs humanitaires et aux praticiens travaillant sur le terrain ou au siegravege dorganisations donatrices internationales nationales ou non gouvernementales Cela facilitera les deacutecisions concernant le financement la supervision lexeacutecution ou leacutevaluation des interventions humanitaires Il ne vise pas les eacutevaluateurs et les chercheurs formeacutes mais cherche plutocirct agrave favoriser la demande de preuves de recherche aupregraves dun public plus large du secteur humanitaire
SECTION B Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterents stades de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
SECTION D Ougrave devriez-vous chercher des preuves Cette section propose des conseils et des ressources pour vous aider agrave trouver les preuves adeacutequates par rapport agrave votre cas
SECTION A Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche
Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
SECTION C Quels eacuteleacutements devriez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 6
Pour commencer disons clairement ce que nous ne voulons pas dire Nous ne parlons pas de prendre des deacutecisions et des choix en suivant servilement des conclusions de recherche rigides Le jugement professionnel et drsquoautres sources drsquoinformation telles que les reacuteactions de vos parties prenantes seront toujours importants Ce guide pratique ne vise pas agrave remplacer le jugement professionnel mais agrave accroicirctre lutilisation de preuves dans laction humanitaire
Un bon deacutebut pour deacutefinir ce que nous voulons dire trouve un exemple dans la meacutedecine Il y a plus de vingt ans David Sackett et ses collegravegues ont proposeacute la deacutefinition suivante qui a reacutesisteacute agrave leacutepreuve du temps laquo La meacutedecine fondeacutee sur des preuves est lutilisation consciencieuse explicite et judicieuse des meilleures preuves actuelles pour prendre des deacutecisions concernant les soins agrave apporter agrave des patients La pratique de la meacutedecine factuelle implique dinteacutegrer lexpertise clinique individuelle aux meilleures preuves cliniques externes disponibles issues de la recherche systeacutematique raquo4
Cette tentative de deacutefinir la meacutedecine fondeacutee sur des preuves nrsquoeacutetait pas la premiegravere5 mais elle a eu une influence et est tout aussi pertinente pour le secteur humanitaire que pour drsquoautres secteurs Elle souligne que la recherche peut compleacuteter le jugement professionnel ou dautres sources dinformations et reconnaicirct limportance
Quest-ce que la prise de deacutecision eacuteclaireacutee par des preuves et pourquoi se concentrer sur la recherche Cette section discute de ce que nous entendons par prise de deacutecision eacuteclaireacutee par des preuves et pourquoi la recherche en est un eacuteleacutement essentiel
des preuves sur des questions telles que la faisabiliteacute les preacutefeacuterences et la culture
Dans un domaine tel que le secteur humanitaire ougrave des preuves plus nombreuses et de meilleure qualiteacute sont neacutecessaires6 nous pouvons supposer que tout modegravele de bonne prise de deacutecision doit eacuteviter de srsquoappuyer sur le seul jugement professionnel non eacutetayeacute par des preuves scientifiques Plus loin dans cette section vous deacutecouvrirez comment nous pouvons tous ecirctre laquo irrationnels de faccedilon preacutevisible raquo et consciemment ou inconsciemment faire des erreurs lors de jugements importants Nous explorons les moyens datteacutenuer ces erreurs de jugement dans les sections suivantes Cependant dautres modegraveles deacutecisionnels ont eacutegalement souligneacute limportance de combiner la connaissance des preuves avec le jugement Le secteur humanitaire est un domaine sensible dans lequel nous devons ecirctre conscients de la politique internationale et locale et de la dynamique entre les diffeacuterents acteurs impliqueacutes dans la fourniture de laide humanitaire Cela deacuteterminera parfois laccegraves aux preuves et aux informations mais aussi la maniegravere dont laide humanitaire est fournie Cependant limportance des preuves demeure et comme indiqueacute dans un rapport dALNAP en 2014 laquo lincapaciteacute agrave geacuteneacuterer et utiliser des preuves dans les politiques et les reacuteponses rend laction humanitaire moins efficace moins eacutethique et moins responsable raquo7
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
7 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
QUEST-CE QUUNE laquo PREUVE raquo ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
Le dictionnaire anglais Oxford deacutefinit le terme laquo preuve raquo comme eacutetant laquo lensemble des faits ou informations disponibles indiquant si une croyance ou une proposition est vraie ou valide raquo8 et de mecircme dans leur rapport ALNAP sur leacutetat des preuves dans le secteur humanitaire Paul Knox Clarke et James Darcy le deacutefinissaient comme suit laquo des informations permettant de justifier ou de prouver reacutefuter la veacuteriteacute dune proposition speacutecifique raquo7 Nous suivons ces deacutefinitions car de nombreuses autres deacutefinitions ont tendance agrave ecirctre plutocirct inutiles en eacutetant trop inclusives (en incluant parfois presque tous les types drsquoinformations) ou en eacutetant trop abstraites et vagues
Figure A1 Les quatre eacuteleacutements de la prise de deacutecision eacuteclaireacutee par des preuves
Baseacute sur Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Amsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]
DEacuteCISIONEXPEacuteRIENCE
ET JUGEMENTS DES
PRATICIENS
RECHERCHE EN EacuteVALUATION
CONTEXTE ORGANISATION
ACTEURS CIRCONSTANCES
LES PARTIES PRENANTES (par exemple
les employeacutes les preacutefeacuterences ou
les valeurs)
La figure A1 montre les diffeacuterents eacuteleacutements qui devraient faire partie dune prise de deacutecision eacuteclaireacutee par des preuves Notre guide de pratique se concentre sur le cercle supeacuterieur du diagramme recherche et eacutevaluation
Comme lindiquent les auteurs du rapport laquoWhat Counts as Good Evidenceraquo de lAlliance for Useful Evidence laquo La conduite et la publication de la recherche impliquent la documentation explicite des meacutethodes lexamen par les pairs et lexamen externe aboutissant agrave de la rigueur et agrave de louverture Ces caracteacuteristiques contribuent agrave sa nature systeacutematique et aident agrave fournir un moyen de juger de la fiabiliteacute des conclusions Elles offrent eacutegalement la possibiliteacute drsquoeacutevaluer la validiteacute drsquoune revendication par rapport agrave une autre raquo9
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 8
Ce guide de pratique est axeacute sur la recherche mais il existe de nombreux chevauchements avec le domaine de lrsquoeacutevaluation Nous abordons certaines approches de lrsquoeacutevaluation de lrsquoimpact et des processus dans la section C Nous accordons eacutegalement plus drsquoattention agrave la recherche qui traite de lrsquoimpact - que quelque chose ait eu des reacutesultats positifs ou neacutegatifs - parce que les questions relatives agrave limpact sont vitales pour ceux qui participent agrave laction humanitaire Ces acteurs sont soucieux de montrer leur laquo impact raquo sur les populations leurs laquo reacutesultats raquo en termes internationaux ou laquo ce qui fonctionne raquo pour les gouvernements et les fournisseurs locaux et internationaux Le langage peut changer mais lideacutee de leur recherche reste la mecircme veacuterifier sils ont vraiment fait la diffeacuterence Par conseacutequent la finaliteacute de ce guide est de vous aider agrave deacutecider de la maniegravere dont cette recherche pourrait vous aider agrave choisir des interventions des actions et des strateacutegies et agrave adopter les politiques les plus susceptibles de faire une diffeacuterence positive Nous fournissons des exemples illustratifs tout au long du guide et dautres exemples dutilisation des preuves dans les secteurs humanitaires sont disponibles dans dautres recueils deacutetudes de cas10
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation qui sont precirctes agrave lrsquoemploi sans devoir mener une nouvelle eacutetude Les deacutecideurs disposent de peu de temps et de ressources et beaucoup ne peuvent tout simplement pas se permettre de commander une telle eacutetude et drsquoattendre que ses reacutesultats deviennent disponibles ce qui peut prendre
des anneacutees Quelquun qui doit prendre une deacutecision maintenant a besoin de la preuve maintenant voire hier pas dans un an ou plus Les deacutecideurs ont donc besoin de preuves qui puissent ecirctre recueillies laquo sur une eacutetagegravere raquo et combineacutees avec des informations sur le contexte local pour eacuteclairer leur choix Heureusement il est possible de trouver de telles preuves et nous couvrons certaines des maniegraveres de le faire agrave la section D
La recherche est un processus engageacute agrave des fins dapprentissage Elle cherche agrave reacutepondre agrave des questions telles que laquo Quel eacutetait le type de blessure le plus courant apregraves un tremblement de terre raquo laquo Quels sont les effets sur la violence sexiste de diffeacuterentes maniegraveres pour proteacuteger les femmes et les enfants raquo ou laquo Dans quelle mesure un mateacuteriau est-il impermeacuteable lorsquil est utiliseacute comme abri raquo
Leacutevaluation est un processus impliquant leacutevaluation des reacutesultats et des observations par rapport agrave des normes dans le but de prendre des deacutecisions Les eacutevaluations posent des questions telles que laquo Sur quels types de premiers secours les premiers intervenants devraient-il ecirctre formeacutes raquo laquo Quel est le meilleur moyen de proteacuteger les femmes et les enfants contre la violence sexiste raquo ou laquo Quel mateacuteriau faut-il utiliser pour la fabrication de tentes dans un environnement tregraves pluvieux raquo
La recherche ne neacutecessite pas neacutecessairement deacutevaluation Cependant faire une eacutevaluation neacutecessite toujours de faire de la recherche Une eacutevaluation concerne une intervention qui a eacuteteacute effectivement mise en œuvre alors que la
Nous accordons une importance particuliegravere agrave la recherche et agrave lrsquoeacutevaluation precirctes agrave lrsquoemploi sans qursquoil soit neacutecessaire de mener une nouvelle eacutetude
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
9 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
recherche est plus complegravete et outre les eacutevaluations elle peut eacutegalement tenter de reacutepondre agrave des questions conceptuelles telles que la planification des besoins susceptibles de suivre une catastrophe ou la creacuteation dune nouvelle intervention Cependant que nous pensions agrave la recherche ou agrave leacutevaluation nous devons ecirctre conscients que les partis pris peuvent fausser les reacutesultats Dans la section C nous examinons certains des partis pris qui peuvent affecter les reacutesultats drsquoune eacutetude mais il est eacutegalement important drsquoecirctre conscients des partis pris dans la faccedilon dont les gens interpregravetent les reacutesultats drsquoune eacutetude ou qui influencent leur reacuteflexion sur le besoin de recherche ou sur limpact de cette derniegravere Nous discutons ensuite certains de ces partis pris
LE DEacuteFI DE COMPTER UNIQUEMENT SUR LOPINION PROFESSIONNELLELune des raisons pour lesquelles nous privileacutegions une recherche de qualiteacute plutocirct que de nous fier uniquement agrave un jugement professionnel est que les preacutejugeacutes impliqueacutes dans le jugement professionnel peuvent signifier quil est incorrect En tant qursquoecirctres humains nous sommes laquo naturellement irrationnels raquo11 et sommes susceptibles de subir des biais cognitifs qui deacuteforment notre penseacutee Le biais cognitif fait reacutefeacuterence agrave notre incapaciteacute agrave ecirctre totalement objectif ce qui peut se manifester de multiples faccedilons - telles que la distorsion de la perception des jugements inexacts et des interpreacutetations illogiques ou irrationnelles
Mecircme avec les meilleures intentions les professionnels peuvent se tromper Prenons par exemple un type derreur cognitive le preacutejugeacute de confirmation Crsquoest la tendance agrave se concentrer sur les preuves qui correspondent agrave ce que nous croyons et agrave ignorer ou agrave eacutecarter ce qui ne lrsquoest pas Mecircme des professionnels tregraves expeacuterimenteacutes peuvent tomber dans ce piegravege cognitif
Il est important de savoir comment on peut sauter aux conclusions pour se meacutefier des experts Mais le preacutejugeacute de confirmation
souligne eacutegalement le fait que nimporte qui - pas seulement des experts - peut utiliser de maniegravere tregraves seacutelective les reacutesultats de recherche Les gens ont tendance agrave rechercher des preuves qui correspondent agrave leurs croyances intentionnellement ou non Cela pourrait ecirctre consideacutereacute comme une laquo preuve fondeacutee sur une politique raquo plutocirct que comme une laquo politique fondeacutee sur une preuve raquo choisir et reacuteajuster les preuves aux conclusions que nous avons deacutejagrave fixeacutees dans notre esprit Si nous sommes geacuteneacutereux cela peut ecirctre une erreur inconsciente mais dans le pire des cas il peut sagir dun stratagegraveme deacutelibeacutereacute pour renforcer les preacutejugeacutes en trouvant et en promouvant des eacuteleacutements de preuve qui correspondent agrave ces preacutejugeacutes tout en ignorant ce qui ne lest pas
Un pheacutenomegravene similaire mais diffeacuterent est le preacutejugeacute doptimisme qui fait reacutefeacuterence agrave la laquo tendance prouveacutee des eacutevaluateurs [de projets programmes et politiques] agrave ecirctre trop optimiste quant aux paramegravetres cleacutes du projet y compris les coucircts en capital les coucircts de fonctionnement la dureacutee du projet et la fourniture des avantages raquo12 Cela peut aboutir agrave la deacutefinition drsquoobjectifs pour les produits les reacutesultats et les impacts irreacutealistes et non livrables Christoplos a noteacute que agrave la suite du tsunami de 2004 dans lrsquooceacutean Indien laquo Les meacutethodes et les directives eacutetaient remplies drsquooptimisme normatif Des termes tels que laquo Web homogegravene raquo ont eacuteteacute appliqueacutes pour deacutecrire lrsquoeacutetat de la situation qui se preacutesenterait si les bonnes meacutethodes eacutetaient appliqueacutees Les individus les meacutenages les communauteacutes et les nations devaient suivre un continuum de souffrances humaines aigueumls au deacuteveloppement laquo normal raquo Cet optimisme sest estompeacute au fil des ans LRRD [Links between Relief Rehabilitation and Development] sest plus reacutefeacutereacute agrave une eacutenigme quagrave un chemin doreacute Des tensions politiques insupportables et linseacutecuriteacute humaine sont deacutesormais associeacutees agrave LRRD dabord dans les situations dapregraves conflit puis de plus en plus souvent lors de catastrophes naturelles raquo13
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 10
Le preacutejugeacute doptimisme concernant les anciennes et les nouvelles interventions est souvent ducirc agrave un manque de preuves de leurs veacuteritables effets La recherche et les preuves tireacutees deacutevaluations de ces interventions ou similaires peuvent aider agrave reacuteduire cette incertitude
Comme dans dautres secteurs il existe de nombreux autres preacutejugeacutes lieacutes agrave la faccedilon dont les gens pensent que cela peut affliger ceux qui travaillent dans le secteur humanitaire Ceci inclut
Le preacutejugeacute du recul Tendance agrave consideacuterer les eacuteveacutenements passeacutes comme eacutetant plus preacutevisibles qursquoavant leur survenue
Laversion aux pertes Tendance agrave preacutefeacuterer eacuteviter les pertes quagrave acqueacuterir des gains
Leffet de cadrage Tirer des conclusions diffeacuterentes agrave partir de la mecircme information preacutesenteacutee de diffeacuterentes maniegraveres (par exemple preacutefeacutereriez-vous que laquo 95 sont revenus au travail raquo ou que laquo 5 ne sont pas retourneacutes au travail raquo )
La laquo heuristique de disponibiliteacute raquo Lorsque les gens associent la taille la freacutequence ou la probabiliteacute dun problegraveme agrave la faciliteacute avec laquelle il est facile de sen souvenir ou de limaginer
La laquo repreacutesentativiteacute heuristique raquo Quand les gens surestiment la probabiliteacute drsquoeacuteveacutenements vivants
Le laquo besoin de coheacuterence raquo Lrsquoenvie drsquoeacutetablir des modegraveles et des relations de cause agrave effet quand ils nrsquoexistent peut-ecirctre pas
Le preacutejugeacute meacutetacognitif la conviction que nous sommes immuniseacutes contre les preacutejugeacutes
Cela ne veut pas dire que le jugement professionnel est toujours faux Des chercheurs tels que Gary Klein ont vanteacute les meacuterites drsquoun jugement drsquoexpert intuitif par exemple dans ses travaux sur laquo la prise de deacutecision naturaliste raquo14 Les points de vue professionnels et les instincts peuvent ecirctre tregraves preacutecieux mais nous devons ecirctre conscients de leurs inconveacutenients Comme la affirmeacute Daniel Kahneman dans un article publieacute conjointement avec le professeur Klein dans American Psychologist laquo lintuition professionnelle est parfois merveilleuse et parfois imparfaite raquo15
RETOUR AU SOMMAIRE
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
SECTION A | QUEST-CE QUE LA PRISE DE DEacuteCISION EacuteCLAIREacuteE PAR DES PREUVES ET POURQUOI SE CONCENTRER SUR LA RECHERCHE
11 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Nous ne procircnons pas des prises de deacutecision qui suivent servilement les conclusions de recherches aux deacutepens de jugements professionnels
Cependant lexpertise professionnelle ne doit pas ecirctre placeacutee sur un pieacutedestal Les experts peuvent parfois se tromper et ne sont pas agrave labri des preacutejugeacutes sociaux et cognitifs tout comme les profanes
Les reacutesultats des recherches constituent un type de preuve parmi dautres mais ils preacutesentent lavantage decirctre plus rigoureux pertinents et indeacutependants par rapport agrave dautres types de preuves
La geacuteneacuteration de nouvelles preuves peut ecirctre coucircteuse et longue mais il existe des preuves de bonne qualiteacute laquo precirctes agrave lemploi raquo (voir section D) Les recherches et les eacutevaluations des urgences actuelles peuvent fournir des informations pour de futures interventions
Ces derniegraveres anneacutees les programmes de transferts moneacutetaires (CTP) sont devenus lrsquoune des innovations les plus importantes de lrsquoaide humanitaire internationale
En 2016 28 milliards de $ daide humanitaire ont eacuteteacute deacutecaisseacutes en espegraveces et en bons soit une augmentation de 40 par rapport agrave 2015 et un doublement par rapport agrave 201416 Les deacutecaissements en espegraveces ont non seulement augmenteacute de maniegravere globale mais aussi en tant que part relative de laide humanitaire internationale totale de 78 en 2015 agrave 103 en 201617
Cette expansion a eacuteteacute appuyeacutee par un nombre croissant drsquoeacutevaluations ce qui a permis de rassembler un ensemble de preuves sur les effets de diffeacuterents programmes sur les reacutesultats individuels et au niveau des meacutenages Cet ensemble de recherches et drsquoeacutevaluations a joueacute un rocircle deacuteterminant dans la croissance des transferts moneacutetaires
Cela a eacutegalement permis de reacutesoudre les problegravemes lieacutes aux transferts moneacutetaires
tels que la corruption et linseacutecuriteacute18 ainsi que de mieux faire comprendre que les transferts moneacutetaires geacutenegraverent des risques diffeacuterents mais pas neacutecessairement plus importants que lassistance en nature19 Il a eacuteteacute deacutemontreacute que les avantages des transferts moneacutetaires eacutetaient multiples dans de nombreux secteurs notamment en ce qui concerne lrsquoautonomisation des femmes la seacutecuriteacute alimentaire lrsquoeacuteducation et les soins de santeacute En conseacutequence les transferts moneacutetaires sont deacutesormais un outil accepteacute dans presque toutes les interventions drsquourgence Lune des principales reacuteussites de la recherche sur les transferts moneacutetaires est que les preuves geacuteneacutereacutees ont eacuteteacute largement utiliseacutees par les institutions deacutefendant la promotion de lutilisation des espegraveces dans les crises humanitaires
Des recherches suppleacutementaires sont neacuteanmoins neacutecessaires pour ajuster les programmes afin drsquoen maximiser les avantages
Comment la recherche a favoriseacute la croissance de la programmation de transferts moneacutetaires
EacuteTUDE DE CAS
Messages cleacutes de la section A
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 12
Les preuves peuvent rendre les organisations plus efficaces Des campagnes plus convaincantes agrave la recherche de subventions en passant par le deacuteveloppement des capaciteacutes de prise de deacutecision drsquoune organisation pour srsquoassurer que les programmes produisent des reacutesultats les preuves peuvent renforcer votre travail Peu importe que vous soyez une petite organisation beacuteneacutevole ou une grande organisation internationale Quelle que soit votre taille vous trouverez peut-ecirctre des recherches reacutepondant agrave vos besoins
Agrave quel moment les preuves peuvent-elles vous aider Cette section explore diffeacuterents sceacutenarios dans lesquels lutilisation de preuves peut vous aider ainsi que les types de preuves dont vous pourriez avoir besoin agrave diffeacuterentes eacutetapes de leacutelaboration ou de la mise en œuvre dune nouvelle intervention ou dune nouvelle politique
CYCLE DE REacutePONSE HUMANITAIRELe Bureau de la coordination des affaires humanitaires (BCAH) deacutepartement du Secreacutetariat de lONU a deacuteveloppeacute un cycle de reacuteponse humanitaire qui preacutevoit une seacuterie drsquoactions coordonneacutees visant agrave preacuteparer agrave geacuterer et agrave exeacutecuter lrsquointervention humanitaire Il repose sur cinq eacuteleacutements chaque eacutetape srsquoappuyant sur lrsquoeacutetape preacuteceacutedente et conduisant agrave lrsquoeacutetape suivante20 Les preuves peuvent vous aider agrave prendre des deacutecisions et agrave avancer dans ce cycle
Besoins en termes deacutevaluation et danalyse Lanalyse des recherches existantes vous fournira une base deacutevaluation des besoins et vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes Parallegravelement agrave la collecte de donneacutees lieacutees agrave lenvironnement et aux circonstances auxquelles vous devez faire face (ou devrez peut-ecirctre faire face) cette analyse vous permettra didentifier des opportuniteacutes de reacuteponses approprieacutees Dans certains cas cette deacutemarche peut saveacuterer difficile si les opportuniteacutes de recherches pertinentes ont eacuteteacute peu nombreuses21
Planification de reacuteponse strateacutegique Lors de la planification de votre reacuteponse strateacutegique recherchez des preuves sur les tests et eacutevaluations reacutealiseacutes preacuteceacutedemment car ces informations pourraient vous aider agrave prendre les bonnes deacutecisions Vous pouvez eacutegalement utiliser des preuves sur les meilleurs moyens de communiquer les risques potentiels dune situation aux personnes qui ont pu ecirctre impliqueacutees22
LES PREUVES PEUVENT VOUS AIDER DE MULTIPLES FACcedilONS NOTAMMENT Commencer agrave faire quelque chose
Arrecircter de faire quelque chose
Proposer des options et apporter des arguments
Identifier les prioriteacutes
Eacutevaluer les besoins
Aligner les services avec les besoins
Concevoir et mettre en œuvre des programmes plus efficaces
Deacutevelopper des demandes de financement
Creacuteer des campagnes de sensibilisation efficaces
Accroicirctre la responsabilisation des parties prenantes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
13 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Figure B1 Cycle de reacuteponse humanitaire EacuteVALUATION ET
ANALYSE DES BESOINS
PLANIFICATION STRATEacuteGIQUE
EXAMEN OPEacuteRATIONNEL
PAR LES PAIRS ET EacuteVALUATION
MOBILISATION DES RESSOURCES
MISE EN ŒUVRE ET SUIVI
COORDINATION
GESTION DE LINFORMATION
Mobilisation des ressources Limpleacutementation dune nouvelle intervention ou politique neacutecessitera la mobilisation de ressources Ces ressources pourront ecirctre de nature financiegravere afin de payer les activiteacutes ou les eacutequipes qui seront chargeacutees de leur exeacutecution Ladoption dune approche eacuteclaireacutee par les preuves lors de la planification dune reacuteponse strateacutegique et le choix dinterventions et de politiques est susceptible de les rendre plus efficaces et donc plus attractives aux yeux des donateurs23
Mise en œuvre et suivi Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez en reacutealiser le suivi et documenter son impact Vous contribuerez ainsi agrave faire la diffeacuterence
Examen opeacuterationnel par les pairs et eacutevaluationLexamen opeacuterationnel par les pairs peut ecirctre utiliseacute comme un correcteur de formation afin didentifier les domaines neacutecessitant des actions correctives immeacutediates Parallegravelement agrave une eacutevaluation de votre propre reacuteponse strateacutegique et des comparaisons avec des preuves issues dinterventions similaires cet examen peut vous aider agrave deacuteterminer si des ajustements ou des ameacuteliorations sont neacutecessaires notamment pour lorganisation des eacutequipes de direction la mise en oeuvre dautres phases du cycle la coordination et les meacutecanismes de responsabilisation des personnes affecteacutees
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 14
DEacuteVELOPPEMENT ET MISE EN ŒUVRE DUNE NOUVELLE INTERVENTIONLors du deacuteveloppement ou de la mise en œuvre dune nouvelle politique ou dune nouvelle intervention humanitaire il convient de commencer par prendre en compte la dureacutee Les preuves seront utiles agrave des moments diffeacuterents du deacuteveloppement ou de la mise en œuvre et vous devrez examiner les recherches approprieacutees pour chaque eacutetape du cycle de vie de la nouvelle intervention ou politique Au tout deacutebut dune nouvelle initiative les recherches peuvent permettre didentifier de nouveaux deacutefis et deacutevaluer leacutetendue du problegraveme Elles peuvent servir agrave preacuteparer le deacuteveloppement et la mise en œuvre dune nouvelle intervention ou politique
Le graphique en spirale ci-dessous a eacuteteacute eacutelaboreacute par Nesta pour illustrer les diffeacuterentes eacutetapes du processus dinnovation Ce graphique peut ecirctre utiliseacute pour deacuteterminer lavancement dune nouvelle approche appliqueacutee agrave un problegraveme social24 Diffeacuterents types de preuves seront requis agrave chaque eacutetape et le processus doit ecirctre continu une fois la fin dune spirale atteinte vous devez recommencer et entamer un nouveau cycle Nous abordons dans ce document les diffeacuterentes eacutetapes de cette spirale Des exemples speacutecifiques dinnovation reacuteussie dans des contextes humanitaires sont eacutegalement disponibles dans une autre eacutetude portant sur 15 projets financeacutes par le Fonds dinnovation humanitaire25
Figure B2 La spirale dinnovation de Nesta
1
2
3
4 5
6
7
1 Exploration des opportuniteacutes et des deacutefis
2 Production dideacutees
3 Deacuteveloppement et test
4 Apporter des arguments
5 Prestation et mise en œuvre
6 Croissance et eacutevolution
7 Changement de systegravemes
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
15 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
1 EXPLORATION DES OPPORTUNITEacuteS ET DES DEacuteFIS
Lutilisation des recherches actuelles vous aidera agrave comprendre la nature limportance et la dynamique de certains problegravemes auxquels vous ecirctes confronteacute et les opportuniteacutes de reacuteponses approprieacutees (Voir leacutetude de cas ci-dessous)
Conformeacutement au principe laquo ne laisser personne pour compte raquo inclus dans les objectifs de deacuteveloppement durable la plupart des partenaires de deacuteveloppement reconnaissent que la reacuteponse aux besoins humanitaires dans le domaine de la santeacute lors dune crise doit pouvoir seacutetendre agrave un systegraveme de santeacute eacutequitable sur le plus long terme
Le ReBUILD Research Programme Consortium est un partenariat de recherche internationale financeacute par UK Aid Son objectif est dameacuteliorer laccegraves agrave des soins efficaces pour les populations pauvres se trouvant dans des situations dapregraves conflit gracircce agrave de solides preuves sur le renforcement des systegravemes de santeacute Meneacutees dans des contextes dapregraves conflit relativement stables bien que fragiles les recherches de ReBUILD ont permis danalyser agrave travers un prisme historique les impacts agrave court moyen et long terme sur les systegravemes de santeacute des politiques mises en œuvre pendant et apregraves le conflit et la crise Plusieurs thegravemes y eacutetaient eacutetudieacutes notamment la reacutemuneacuteration des professionnels de santeacute la mise en place de structures de soins destineacutees aux communauteacutes les plus pauvres et les plus vulneacuterables lefficaciteacute de laide et la pariteacute homme-femme
Ces recherches ont apporteacute un eacuteclairage preacutecieux sur lexpeacuterience des communauteacutes et des professionnels de santeacute pendant les peacuteriodes de conflit et dapregraves conflit ainsi que des recommandations sur le renforcement des systegravemes de santeacute apregraves le conflit Les preuves de ReBUILD preacutesentent eacutegalement un inteacuterecirct sur le plan humanitaire par exemple pour les effets dapproches favorisant limplication des
professionnels de santeacute locaux dans des interventions durgence sur la distribution de la main-dœuvre agrave long terme la motivation et les compeacutetences ou encore lutiliteacute de travailler avec des acteurs locaux (mecircme si leur rocircle est limiteacute) pour soutenir agrave plus long terme des capaciteacutes de coordination de planification et de flux de ressources preacutevisibles
Cest pour cette raison que ReBUILD mobilise eacutegalement les personnes impliqueacutees dans la santeacute lors de conflits actuels ou de crises prolongeacutees Entre autres reacutealisations ReBUILD a participeacute aux prises de deacutecision et agrave la mise en œuvre en Sierra Leone lors de leacutepideacutemie du virus Ebola et a appuyeacute certains aspects dun plan de donation pour la Syrie Il est difficile de preacutesenter des preuves sur des reacutesultats agrave long terme aux personnes travaillant dans une interface deacuteveloppementhumanitaire ougrave les besoins humanitaires restent de faccedilon compreacutehensible lobjectif principal Les preuves agrave long terme noccupent quune place tregraves limiteacutee dans les objectifs et les strateacutegies des organisations humanitaires ce qui reflegravete leacutecart entre approche de deacuteveloppement et approche humanitaire
ReBUILD collabore avec plusieurs organisations qui considegraverent les approches humanitaires baseacutees sur des preuves (notamment Evidence Aid) et collabore eacutetroitement avec des groupes de travail ayant pour objectif linterface humanitairedeacuteveloppement pour la santeacute comme le groupe de travail de la CSU2030 sur la CSU dans les environnements fragiles et le groupe de travail theacutematique global sur les systegravemes de santeacute dans les eacutetats fragiles et affecteacutes par des conflits
Preacutesentation de preuves sur les reacutesultats des systegravemes de santeacute agrave long terme dans des situations de crise prolongeacutee
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 16
2 PRODUCTION DIDEacuteES
Une fois votre objectif fixeacute vous devez rechercher des interventions et des politiques qui ont eacuteteacute preacuteceacutedemment eacutetudieacutees Pouvez-vous reacuteutiliser des ideacutees qui ont fonctionneacute pour dautres et eacuteviter de reproduire des interventions qui ont eacutechoueacute
3 DEacuteVELOPPEMENT ET TEST
Alors que de nouvelles ideacutees sont lanceacutees vous devez reacutealiser des tests et des expeacuteriences sur les diffeacuterentes approches afin den eacutevaluer limpact
Dans la section C nous abordons les normes en matiegravere de preuves qui illustrent la trajectoire que doivent suivre les nouveaux programmes pour deacutemontrer leur impact
4 APPORTER DES ARGUMENTS
Toute preuve concernant limpact probable de votre intervention vous aidera agrave apporter des arguments aux donateurs potentiels et aux acteurs sur le terrain Vous serez mieux en mesure de les persuader de financer lintervention et dapporter leur soutien agrave son exeacutecution et agrave sa mise en œuvre (Voir leacutetude de cas ci-dessous)
En juin 2017 Christine Fernandes conseillegravere globale en nutrition humanitaire pour Save the Children a donneacute une preacutesentation sur lalimentation des nourrissons et des jeunes enfants dans les situations durgence agrave leacutequipe de direction de Save the Children en Irak qui passait en revue sa strateacutegie pour 2017-2018 Jusqualors la nutrition navait pas eacuteteacute prise en compte pour la mise en œuvre en Irak Christine a preacutesenteacute sa preacutesentation de 20 minutes sous forme de quiz chaque diapositive commenccedilait par une question comme
Selon vous quel est le moyen le plus efficace de preacutevenir la mortaliteacute chez les enfants de moins de cinq ans
Mateacuteriaux traiteacutes avec des insecticides
Vaccin Hib (meacuteningite)
Allaitement maternel
Compleacutements alimentaires
Compleacutements en vitamine A et en zinc
Elle a ensuite tordu le cou aux ideacutees reccedilues en sappuyant sur des donneacutees tangibles Par exemple en citant un article du magazine The Lancet26 elle a pu deacutemontrer que lallaitement maternel contribue largement (13 ) agrave la reacuteduction de la mortaliteacute chez les jeunes enfants et que les compleacutements alimentaires repreacutesentent le deuxiegraveme facteur le plus eacuteleveacute La meacutethode hypothegravesecorrection des ideacutees reccedilues est eacutegalement une faccedilon efficace dinfluencer lopinion des gens toujours sur la base de preuves27 Christine est parvenue agrave convaincre toute la direction de lagence irakienne de linteacuterecirct de faire de lalimentation des nourrissons et des jeunes enfants dans les situations durgence un thegraveme prioritaire Gracircce agrave cette preacutesentation un programme dalimentation a eacuteteacute lanceacute agrave Bagdad et le Ministegravere de la Santeacute a beacuteneacuteficieacute de soutien lors de la mise en place de sa strateacutegie de nutrition nationale qui a mis laccent sur le controcircle des substituts au lait maternel et du renforcement des capaciteacutes agrave leacutechelle nationale dans le cadre des premiers investissements en ressources en 2018
Preacutesentation de preuves aux dirigeants des agences locales
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
17 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
5 PRESTATION ET MISE EN ŒUVRE
Une fois que vous avez mis en œuvre une intervention ou une politique vous devez reacutefleacutechir agrave la faccedilon dont vous pouvez documenter limpact correspondant Cela vous aidera agrave passer dune position de rheacutetorique consistant agrave dire croyez-moi ce projet fonctionne agrave une position sappuyant sur des preuves plus fiables issues du suivi et de leacutevaluation Cela vous aidera eacutegalement agrave rendre des comptes en montrant que vous changez les choses que votre projet est rentable et que vous avez proceacutedeacute agrave une eacutevaluation de votre travail (Voir leacutetude de cas ci-dessous)
3ie (International Initiative for Impact Evaluation) a pour objectif dameacuteliorer les conditions de vie des populations pauvres dans les pays agrave faible revenu et agrave revenu intermeacutediaire en transmettant des donneacutees probantes sur les interventions de deacuteveloppement qui fonctionnent (quand pourquoi et dans quelle mesure) et en syntheacutetisant ces donneacutees En 2018 le dispositif theacutematique daide humanitaire de 3ie a financeacute sept eacutevaluations dimpact au Tchad en Reacutepublique deacutemocratique du Congo (RDC) au Mali au Niger au Pakistan au Soudan et en Ouganda Crsquoest ce que reacutevegravele une importante eacutetude reacutealiseacutee en Allemagne par lUniversiteacute de Mannheim en collaboration avec lrsquoACTED (Agency for Technical Cooperation and Development) ACTED soutient des programmes daide humanitaire dans les zones sujettes aux catastrophes et leacutevaluation eacutevalue lefficaciteacute de ces interventions afin de reacutepondre agrave ces risques et de reacuteduire la vulneacuterabiliteacute des communauteacutes vis-agrave-vis des bouleversements durgenceLa collaboration entre ACTED et lUniversiteacute de Mannheim a inclus plusieurs exemples reacuteussis de renforcement des capaciteacutes et de transmission
Engagement agrave plusieurs niveaux Leacutetude et les donneacutees de reacutefeacuterence ont eacuteteacute preacutesenteacutees au gouvernement pakistanais dans le but dinformer au sujet de la strateacutegie nutritionnelle inteacutegreacutee du Pakistan en sappuyant sur les
informations fournies par divers acteurs expeacuterimenteacutes en matiegravere de nutrition et de gestion des catastrophes Les reacutesultats ont eacutegalement eacuteteacute communiqueacutes agrave un groupe de travail national composeacute dONG nationales et internationales duniversitaires et de speacutecialistes du secteur
Contribution agrave lameacutelioration de la qualiteacute des donneacutees Il y a eu des ameacuteliorations significatives dans le systegraveme de surveillance et deacutevaluation Les bonnes pratiques en matiegravere de collecte de donneacutees (veacuterifications ponctuelles seacuteances de deacutebriefing avec les eacutequipes de terrain et commentaires reacuteguliers sur les divergences en matiegravere de collecte des donneacutees) mises en place lors de leacutevaluation dimpact reacutealiseacutee par leacutequipe de recherche ont eacuteteacute reprises dans un autre projet mis en place par ACTED
ACTED espegravere inclure ces pratiques dans son protocole reacutegulier de suivi et deacutevaluation une fois quelles auront eacuteteacute testeacutees sur le terrain
Renforcement de la capaciteacute de lagence dexeacutecution en matiegravere deacutevaluation Le personnel de lagence dexeacutecution a eacuteteacute sponsoriseacute pour participer agrave un atelier sur la mesure des effets des programmes de reacuteduction de la pauvreteacute et aider agrave eacutelaborer de meilleures politiques par le recours aux eacutetudes dimpact Cela lui permettra de mieux assimiler les reacutesultats de leacutevaluation et cela constituera une base pour les eacutevaluations internes futures
Partenariats dans le domaine des eacutevaluations dimpact
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 18
6) CROISSANCE EacuteVOLUTION ET DIFFUSION
La reproduction et le deacuteveloppement sont les objectifs ultimes de la plupart des innovations afin de favoriser le changement agrave plus grande eacutechelle et au quotidien mais aussi de reproduire ces modegraveles dans dautres contextes Cela eacutetendra limpact positif de ces initiatives
7) CHANGEMENT DES SYSTEgraveMES
Changer les systegravemes est extrecircmement complexe Une bonne faccedilon drsquoatteindre cette ampleur est dobtenir plusieurs eacutetudes indeacutependantes deacutemontrant quun eacuteleacutement ne fonctionne pas uniquement dans les circonstances propres aux premiegraveres phases de test mais quil est peut ecirctre efficace agrave plusieurs endroits
ADOPTER DES IDEacuteES DAUTRES REacuteGIONS OU SECTEURSMecircme si vous disposez de preuves sur ladoption reacuteussie dune politique ou dun projet ailleurs est-ce que ces ideacutees fonctionneront dans votre domaine Howard White donne un exemple de programme dalimentation compleacutementaire (le projet inteacutegreacute de nutrition au Bangladesh BINP) qui na pas permis datteindre au Bangladesh les reacutesultats dun laquo autre programme largement salueacute de nutrition inteacutegreacute au Tamil Nadu en Inde raquo28 Dans le programme du Bangladesh le taux de participation eacutetait 30 infeacuterieur agrave celui en Inde Une eacutevaluation contrefactuelle dimpact laquo a reacuteveacuteleacute que le programme navait eu aucun impact significatif sur la situation nutritionnelle bien quun impact positif ait eacuteteacute observeacute sur les enfants souffrant de malnutrition graveraquo Le professeur White a souligneacute
laquo Il faut cibler la bonne population Ce programme eacutetait destineacute aux megraveres de jeunes enfants mais les megraveres ne prennent geacuteneacuteralement pas de deacutecisions (ou ne sont pas les seules agrave deacutecider) en matiegravere de santeacute et dalimentation de leurs enfants Dans les zones rurales du Bangladesh les femmes ne vont pas au marcheacute Ce sont les hommes qui soccupent des achats Pour les femmes qui vivent en meacutenage commun agrave savoir sous le mecircme toit que leur belle-famille comme cest le cas pour
une forte minoriteacute ce sont les belles-megraveres qui prennent les deacutecisions relevant du domaine feacuteminin Les taux de participation au projet sont consideacuterablement plus faibles pour les femmes vivant avec leur belle-megravere dans les reacutegions les plus traditionalistes du pays raquo28
Il observe eacutegalement que pour ecirctre efficace le programme doit bien cibler les enfants Dans les zones couvertes par le projet BINP les professionnels en nutrition qui ont appliqueacute le programme laquo nont pas pu identifier correctement des graphiques [de croissance] quels enfants pouvaient beacuteneacuteficier du programme raquo dougrave un mauvais ciblage de la population concerneacutee28 Ces deux exemples de mise en œuvre inapproprieacutee de programmes illustre limportance dune bonne compreacutehension des facteurs de contexte local car ce sont ces facteurs qui conditionnent la reacuteussite ou leacutechec dun programme ainsi que la neacutecessiteacute dutiliser des preuves qualitatives et ethnographiques (voir section C) pour atteindre les reacutesultats souhaiteacutes dans diffeacuterents contextes
Lors de la conception de nouveaux programmes destineacutes agrave changer le mode dagissement des personnes (par exemple en respectant le droit humanitaire international ou en acceptant lusage de latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) les recherches en psychologie sociale en anthropologie et sur les changements comportementaux peuvent ecirctre utiles Cela pourrait fournir des ideacutees sappuyant sur les recherches approfondies reacutealiseacutees sur les techniques quil serait bon dadopter pour orienter les personnes vers les actions souhaiteacutees
Hugh Waddington et ses collegravegues29 par exemple ont noteacute que lameacutelioration de lassainissement (en incitant les personnes agrave utiliser des latrines plutocirct que de deacutefeacutequer ouvertement dans les espaces publics) exigeait davantage de choses que des connaissances sur la theacuteorie des germes Les reacutesultats de leacutevaluation reacutealiseacutee par CLTS (Community Led Total Sanitation) suggegraverent quune meilleure connaissance technique des latrines lutilisation de subventions agrave des fins de reacuteduction des coucircts pour les meacutenages leacutevolution des normes sociales et laction collective au niveau des villages sont tous des facteurs cleacutes permettant damener un changement de comportement et accroicirctre le taux dadoption des latrines
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
19 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
CREacuteATION DUNE THEacuteORIE DU CHANGEMENTLors des toutes premiegraveres phases de mise au point dune intervention il est important de deacutecrire de faccedilon logique ce que vous faites et pourquoi cest important Vous devez ecirctre coheacuterent clair et convaincant Cette description est souvent appeleacutee theacuteorie du changement et vise agrave donner une laquo explication claire concise et convaincante de ce que vous faites de limpact que vous souhaitez avoir et de la faccedilon dont vous pensez lobtenir Elle constitue une composante essentielle de tout programme et une condition preacutealable agrave la reacutealisation dune eacutevaluation raquo30
Une theacuteorie du changement est un moyen utile decirctre plus explicite au sujet des preuves que vous utilisez et decirctre plus clair sur la faccedilon dont vous allez obtenir des reacutesultats Par exemple si vous souhaitez mettre en œuvre un programme visant agrave accroicirctre lutilisation du lavage des mains dans un camp de reacutefugieacutes vous aurez peut-ecirctre besoin de preuves qui reacutepondent agrave une seacuterie de questions Quelles techniques sont susceptibles daboutir agrave un changement de comportement efficace Les nouvelles installations de lavage des mains seront-elles acceptables pour les utilisateurs potentiels
Ougrave devraient se situer ces installations de lavage des mains En quoi ces installations doivent-elles consister Quels renseignements doivent ecirctre fournis Quelles mesures incitatives doivent ecirctre prises pour influencer les deacutecisions des meacutenages
Une theacuteorie du changement (exemple agrave la page 20) vous aide agrave ecirctre explicite au sujet de vos objectifs et de la faccedilon dont vous comptez les atteindre Elle permet deacuteviter despeacuterer simplement que votre approche novatrice fonctionnera et que vos hypothegraveses sont correctes Un autre avantage de la theacuteorie du changement reacuteside dans le fait quil sagit dune premiegravere eacutetape dans la conception dune eacutevaluation efficace car elle tente didentifier tous les reacutesultats qui seront agrave mesurer
Ici le message le plus important est de penser agrave la pertinence Ce que vous voulez cest identifier la recherche qui correspond agrave vos besoins et au stade de deacuteveloppement ougrave vous vous situez Les preuves dont vous aurez besoin lors de la planification dun nouveau programme ou au cours des premiers mois de sa mise en œuvre seront tregraves diffeacuterentes de celles dont vous aurez besoin lorsque le programme sera davantage eacutetabli Nous reviendrons sur cette question cruciale de la pertinence agrave la section C
Il existe un large eacuteventail de situations dans lesquelles des donneacutees probantes peuvent vous aider Il ne sagit pas seulement de celles qui sont eacutevidentes en termes de saisie des reacutesultats des interventions et des politiques Il peut y avoir dautres avantages auxquels vous navez pas penseacute (creacuteation de campagnes plus persuasives obtention de financement ou arrecirct de quelque chose qui ne fonctionne pas par exemple)
Vous devez reacutefleacutechir au calendrier dobtention et agrave la pertinence des donneacutees probantes Ougrave en ecirctes-vous dans la spirale de linnovation et quelles donneacutees probantes pourraient le mieux reacutepondre agrave vos besoins Par exemple dans les premiers jours de leacutelaboration dun programme novateur il peut ecirctre plus utile dapprendre de ce que dautres ont deacutejagrave trouveacute en examinant les eacutevaluations passeacutees ou des eacutetudes sociales et scientifiques de plus grande ampleur plutocirct que de faire une eacutevaluation importante et coucircteuse de votre propre travail
Les premiegraveres eacutetapes de linnovation consistent agrave creacuteer une theacuteorie du changement Cest une faccedilon utile davoir une plus grande clarteacute quant aux preuves que vous utilisez et sur la meacutethode que vous allez appliquer pour obtenir des reacutesultats Cela vous aidera eacutegalement agrave concevoir une eacutevaluation efficace
Les interventions ou les politiques mieux eacutetablies permettent de mettre sur pied leurs propres expeacuteriences ou eacutevaluations dimpact Au fur et agrave mesure quune innovation prend de lampleur vous devez eacutegalement envisager des reacutepeacutetitions multiples pour veacuterifier que les avantages que vous avez identifieacutes ne constituent pas seulement une reacuteussite isoleacutee mais quils peuvent fonctionner dans dautres lieux et contextes
Peu importe la taille de votre organisation Il y a beaucoup de travaux de recherche qui pourraient vous aider
Messages cleacutes de la Section B
RETOUR AU SOMMAIRE
SECTION B | Agrave QUEL MOMENT LES PREUVES PEUVENT-ELLES VOUS AIDER
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 20
Exem
ple
de
theacuteo
rie
du
chan
gem
ent
app
liqueacute
e agrave
la r
eacutesili
ence
des
com
mun
auteacute
s
Out
com
es a
nd im
pac
ts -
mea
suri
ng t
he d
iffer
ence
we
mak
e
http
s
cwar
ham
wor
dpre
ssc
om2
017
02
02
shel
terb
ox-t
heor
y-of
-cha
nge
Protection physique
Bien-ecirctrepsychologique
Dim
inut
ion
du
stre
ss e
t d
e la
nxieacute
teacute
Am
eacutelio
ratio
n d
e la
vie
priv
eacutee e
t d
igni
teacute p
reacutese
rveacutee
THEacuteO
RIE
DU
C
HA
NG
EMEN
TM
ateacuter
iau
Am
eacutelio
ratio
nG
estio
nfin
anci
egravere
Info
rmat
ions
Eacuteva
luat
ion
rap
ide
des
b
eso
ins
app
rofo
ndis
Eacuteval
uatio
n de
sbe
soin
s ap
prof
ondi
s
Seacutecu
riteacute
amp s
ucircret
eacuteLo
gist
ique
Eng
agem
ent
de la
com
mun
auteacute
Con
diti
ons
preacutea
labl
esbull
Beacuten
eacutefici
aire
deacutes
ireux
de
par
ticip
erbull
Stru
ctur
e d
e d
irect
ion
loca
le e
n p
lace
bull Le
s in
terv
enan
ts a
pp
uien
t li
nter
vent
ion
HY
POTH
EgraveSES
bull Seacute
lect
ion
de
laid
e ap
pro
prieacute
e en
fonc
tion
du
cont
exte
bull R
esp
ect
du
prin
cip
e laquo
Do
no
har
m raquo
(ne
pas
nu
ire)
bull Se
nsib
ilisa
tion
des
gro
upes
no
n b
eacuteneacutefi
ciai
res
bull Eacute
leacutem
ents
da
bri
utili
seacutes
aux
fins
preacute
vues
bull Eacute
valu
atio
n d
es b
eso
ins
per
tinen
ts e
t d
es
bes
oin
s
des
gro
upes
vul
neacutera
ble
s p
ris e
n co
mp
tebull
Log
istiq
ue fo
nctio
nnel
le c
oo
rdin
atio
n
et c
om
mun
icat
ion
Coo
rdin
atio
namp
sig
nale
men
tSu
rvei
llanc
eamp
reacutefle
xion
ENTR
EacuteES
Lin
terv
entio
n d
e Sh
elte
rBox
est
tra
nsp
aren
te
Pro
tect
ion
cont
re le
s in
tem
peacuter
ies
et le
s co
nditi
ons
envi
ronn
emen
tale
s ex
trecircm
es
Aug
men
tatio
n d
e la
seacutec
uriteacute
per
sonn
elle
et
de
la s
eacutecur
iteacute d
es
bie
ns
Pro
tect
ion
accr
ue c
ontr
e le
s m
alad
ies
tran
smis
es p
ar l
eau
et
vect
orie
lles
Reacuted
uctio
n d
es d
eacutepla
cem
ents
des
meacuten
ages
Les
meacuten
ages
et
les
com
mun
auteacute
s so
nt in
tact
s
Con
nais
sanc
es e
t co
mp
eacuteten
ces
per
met
tant
du
tilis
er le
mat
eacuterie
l fo
urni
AC
TIV
ITEacuteS
Four
nitu
re e
ffica
ce
et o
pp
ort
une
da
bris
REacuteS
ULT
AT
REacuteS
ULT
ATS
Agrave C
OU
RT
ET Agrave
MO
YEN
TER
ME
de
la r
eacutesili
ence
hum
aine
et
ou
de
la c
apac
iteacute d
aut
o-
reacuteta
blis
sem
ent
(meacuten
ages
co
mm
unau
teacutes)
CO
NTR
IBU
TIO
N A
U N
IVEA
U D
IMPA
CT
DES
C
HA
NG
EMEN
TSbull
Am
eacutelio
ratio
n d
e la
san
teacute e
t d
u b
ien-
ecirctre
p
sych
olo
giq
uebull
Am
eacutelio
ratio
n d
e la
ccegraves
agrave l
ense
igne
men
t et
du
mai
ntie
n d
ans
lens
eig
nem
ent
bull D
imin
utio
n d
u ta
ux d
e m
orb
iditeacute
et
de
mo
rtal
iteacutebull
Gar
antie
de
mai
ntie
n d
ans
les
lieux
bull A
ccegraves
faci
liteacute
aux
serv
ices
de
bas
ebull
Ren
forc
emen
t d
es s
truc
ture
s so
cial
esbull
Moy
ens
de
xist
ence
mai
nten
usbull
Co
mm
unau
teacute p
lus
reacutesi
lient
e fa
ce a
ux c
atas
tro
phe
s fu
ture
s
REacuteS
ULT
AT
Agrave L
ON
G T
ERM
E
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
21 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Toutes les preuves ne se valent pas
Lun des messages cleacutes de ce guide pratique consiste agrave reacutefleacutechir agrave lutiliteacute Trop de personnes sattirent des ennuis en ne reacutefleacutechissant pas clairement au type de plan de recherche agrave la meacutethodologie ou aux meacutethodes de collecte de donneacutees qui reacutepondront vraiment agrave leurs besoins Elles ont tendance agrave laquo se laisser guider par les meacutethodes raquo31 En dautres termes nous avons tous tendance agrave choisir notre approche favorite (questionnaires essais aleacuteatoires ou interviews notamment) parce que nous sommes plus agrave laise avec elle plutocirct que decirctre plus ouverts agrave leacuteventail des meacutethodes et de penser agrave celles qui sont les mieux adapteacutees pour relever notre deacutefi et reacutesoudre nos incertitudes
Par exemple la recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo (cest-agrave-dire de lefficaciteacute) mais dautres types de recherche peuvent eacutegalement apporter dautres ideacutees32 ll se peut quils ne sinteacuteressent pas autant agrave limpact mais quils soient capables de reacuteveacuteler pourquoi et comment les choses fonctionnent33
De plus il peut ecirctre important deacutetablir quels segments de la population beacuteneacuteficient le plus dune intervention ce qui peut souvent ecirctre masqueacute si lon prend comme reacutefeacuterence leffet moyen sur lensemble de la population
Quelles donneacutees probantes devez-vous choisir Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 22
Le type de recherche que vous avez choisi comme source de donneacutees probantes pour vous aider agrave prendre vos deacutecisions doit correspondre aux besoins du problegraveme auquel vous faites face39
Leacutepideacutemie dEbola en Afrique de lOuest a mis en lumiegravere la neacutecessiteacute dencourager lengagement communautaire dans la reacuteponse aux eacutepideacutemies ainsi que le rocircle joueacute par les reacuteseaux de chercheurs en sciences sociales pour partager les informations et diffuser la reacuteponse Cest ce quillustre la Plateforme Ebola Response Anthropology dont les membres laquo travaillent de maniegravere proactive avec les organisations sanitaires et humanitaires pour concevoir fournir et surveiller des interventions et des travaux de recherche sur le terrain mieux adapteacutes et socialement informeacutes au niveau local raquo34 Des leccedilons peuvent ecirctre tireacutees de la maniegravere dont les anthropologues ont utiliseacute lethnographie pour apporter des dimensions socioculturelle et politique dans le cadre dune reacuteponse biomeacutedicale afin daborder la question des pratiques funeacuteraires dites laquo dangereuses raquo Dans un contexte ougrave les cadavres transmettent le virus Ebola des mesures exceptionnelles ont eacuteteacute adopteacutees seuls certains travailleurs humanitaires ont eacuteteacute autoriseacutes agrave enterrer les cadavres des personnes deacuteceacutedeacutees des suites dEbola Les rassemblements des communauteacutes locales qui assistaient aux funeacuterailles decirctres chers
deacuteceacutedeacutes des suites dEbola ont eacuteteacute perccedilus par les intervenants comme une reacutesistance traditionnelle35 agrave la meacutedecine moderne et comme une menace agrave la bioseacutecuriteacute La participation danthropologues ayant une vaste expeacuterience de la vie dans les pays toucheacutes par leacutepideacutemie a eacuteteacute essentielle pour identifier les pratiques acceptables et sucircres (par exemple montrer une photo du cadavre aux familles afin de reacutepondre aux rumeurs concernant des corps disparaissant 36) ainsi que pour surmonter les tensions deacutecoulant des pratiques funeacuteraires gracircce agrave des approches collaboratives Lune des principales leccedilons qui en est ressortie a eacuteteacute didentifier les raisons pour lesquelles les communauteacutes avaient besoin denterrer leurs morts plutocirct que de consideacuterer ces pratiques comme essentiellement laquo culturelles raquo37 La reacuteponse dEbola a montreacute laquo la neacutecessiteacute deacutetablir de nouveaux meacutecanismes mondiaux permettant de mobiliser rapidement tous les experts qui peuvent apporter des informations contextuelles meacutedicales eacutepideacutemiologiques et politiques locales pertinentes sur les urgences sanitaires mondiales raquo38
Leccedilons tireacutees de lutilisation de lethnographie dans la reacuteponse Ebola
La recherche expeacuterimentale est plus adapteacutee aux eacutevaluations dimpact et laquo de ce qui fonctionne raquo
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
23 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 1 DIFFEacuteRENTS TYPES DE MEacuteTHODES DE RECHERCHE DE CONCEPTS ET DAPPROCHES
Alors comment allez-vous comprendre quelle meacutethode de recherche est la mieux adapteacutee agrave votre cas
Si vous necirctes pas chercheur il peut ecirctre deacutecourageant de vous confronter au jargon et aux listes interminables dapproches diffeacuterentes40 Ces problegravemes sont consigneacutes dans une note explicative du ministegravere britannique du Deacuteveloppement international portant sur leacutevaluation des preuves41 et sont tout aussi pertinents pour le secteur humanitaire que pour le deacuteveloppement international
Certains types de recherche (tels que les conceptions expeacuterimentales et
quasi expeacuterimentales) conviennent mieux agrave lidentification de la preacutesence dun lien de causaliteacute
Dautres types de recherche sont plus approprieacutes pour expliquer de telles relations de causaliteacute - voir Au-delagrave des expeacuteriences nouvelles meacutethodes deacutevaluation agrave la page 32
Certaines conceptions (telles que les eacutetudes dobservation) sont plus utiles pour comprendre les contextes politique social et environnemental
Certains des avantages et des inconveacutenients de divers modegraveles de recherche sont reacutesumeacutes dans le Tableau C142
Tableau C1 Diffeacuterents modegraveles meacutethodes et approches concernant les reacutesultats de recherche - bref aperccedilu
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Ethnographie Compte rendu par une personne ayant une expeacuterience directe dun problegraveme particulier ou affecteacutee par celui-ci Lrsquoobjectif est de recueillir des informations deacutetailleacutees sur lrsquoexpeacuterience et les perceptions des personnes
Puissant et immeacutediat peut donner des informations deacutetailleacutees et vivantes sur des eacuteveacutenements dissimuleacutes agrave une grande partie de la population
Difficile agrave veacuterifier et peut entraicircner une inflation de la preacutevalence Les reacutecits eacutemotionnels agrave la premiegravere personne peuvent nuire agrave leacutevaluation critique et les anecdotes individuelles peuvent ne pas ecirctre repreacutesentatives
Eacutetude de cas Examen approfondi dun seul ou de plusieurs cas tels quune communauteacute une famille une organisation des sites un eacuteveacutenement ou un individu
Facile et pratique Peut ecirctre utiliseacute par des praticiens et des non speacutecialistes Bon pour les interventions qui ont deacutejagrave eu lieu Pourrait identifier les conseacutequences neacutefastes dune intervention Aide agrave deacutecrire les innovations Geacutenegravere des hypothegraveses pour dautres eacutetudes
Mauvais pour deacuteduire quune intervention provoque un reacutesultat Une petite taille signifie quil est difficile de geacuteneacuteraliser au niveau national ou de la population
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 24
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Eacutetudes de cas-teacutemoins
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Neacutecessite moins de ressources que les eacutetudes dintervention utile lorsque le recours aux essais randomiseacutes ou aux eacutetudes de cohortes prospectives ne sont pas pratiques (eacutetudes sur la mort subite du nourrisson par exemple) peut geacuteneacuterer des hypothegraveses qui pourront ecirctre testeacutees dans des eacutetudes plus solides
Rare en politique sociale (voir leacutevaluation laquo au cas par cas raquo ci-dessous pour plus dinformations sur les approches plus courantes en politique sociale) plus freacutequente en eacutepideacutemiologie et en santeacute fournit moins de donneacutees probantes pour linfeacuterence causale quun essai randomiseacute risque eacuteleveacute de divers preacutejugeacutes (au niveau de la seacutelection et de linterviewer par exemple)
Eacutevaluation du processus
Approche deacutevaluation qui examine ce qui se passe par rapport aux theacuteories existantes sur le changement ou par rapport aux voies causales identifieacutees au cours dune eacutevaluation Peut ecirctre associeacute agrave une eacutevaluation reacutealiste agrave une analyse comparative qualitative (AQC) agrave une analyse de contributions ou agrave un suivi de processus
Efficace pour lexplication des causes peut ecirctre utiliseacute dans les domaines plus confus et complexes des interventions sociales au cours desquelles il peut y avoir plusieurs causes et ougrave le contexte revecirct une grande importance Leacutevaluation du processus examinera les meacutecanismes de changement les facteurs contextuels et leacutevaluation de la mise en œuvre
Manque de meacutethodes convenues possibiliteacutes de partialiteacute faible pouvoir absorbant ou impacteur relativement peu deacutevaluation des techniques utiliseacutees par rapport agrave la litteacuterature abondante critiquant les essais randomiseacutes
Eacutevaluation eacuteconomique
Les eacutevaluations eacuteconomiques deacuteterminent si une intervention constitue une utilisation efficace des ressources et comment elle se compare agrave drsquoautres interventions en termes de coucircts et de conseacutequences Dans le secteur humanitaire les meacutethodes les plus courantes sont lrsquoanalyse coucircts-avantages et lrsquoanalyse coucirct-efficaciteacute
Leacutevaluation eacuteconomique donne une bonne ideacutee du niveau de ressources neacutecessaires et des coucircts par un rapport beacuteneacuteficeefficaciteacute ce qui est un excellent indicateur pour la plupart des deacutecideurs et peut ecirctre utiliseacute pour le plaidoyer
Leacutevaluation eacuteconomique implique plusieurs hypothegraveses et parfois des mesures indirectes du coucirct qui reposent sur des jugements La mesure de lefficaciteacute doit ecirctre fournie par un essai comparatif robuste
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
25 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
En coupe transversale
Un eacutechantillon repreacutesentatif de personnes interrogeacutees agrave un moment donneacute Bien que les enquecirctes telles que les questionnaires et les entretiens structureacutes soient couramment utiliseacutees dans la conception transversale elles ne sont pas le seul moyen Dautres meacutethodes incluent lanalyse du contenu ou lanalyse des statistiques officielles
Les donneacutees quantitatives peuvent ecirctre examineacutees pour deacutetecter des modegraveles ou des associations relativement bon marcheacute et eacutethique lenquecircte peut ecirctre reacutepeacuteteacutee agrave intervalles reacuteguliers illustrant leacutevolution des tendances dans le temps (voir Eacutetudes de cohorte longitudinales ci-dessous) peut geacuteneacuterer des hypothegraveses qui peuvent ecirctre testeacutees dans des eacutetudes plus robustes
Eacutetablit lassociation au mieux pas la causaliteacute Il est rarement possible drsquoattribuer un changement mesureacute agrave lrsquointervention ou de comprendre ce qui se serait passeacute en lrsquoabsence de lrsquointervention car tout changement aurait eacuteteacute ducirc agrave des problegravemes plus vastes tels que les conditions eacuteconomiques la meacuteteacuteo ou des campagnes meacutediatiques plutocirct que lrsquointervention Les autres inconveacutenients sont le risque de biais de rappel de biais de deacutesirabiliteacute sociale de biais de chercheur taille ineacutegale des groupes et distribution ineacutegale des facteurs de confusion
Eacutetudes de cohortes longitudinales
Le mecircme eacutechantillon de personnes interrogeacutees sur plusieurs points dans le temps parfois de lenfance agrave la vieillesse
Meilleure source de preuves sur lassociation entre lexpeacuterience de lenfance et les reacutesultats chez ladulte peut apporter un soutien puissant agrave certaines interventions preacutecoces peut ecirctre utiliseacute pour eacutevaluer les programmes mis en œuvre agrave la suite drsquoessais randomiseacutes
Les donneacutees arrivent souvent trop tard pour une prise de deacutecision efficace les membres de leacutetude peuvent abandonner avec le temps approche coucircteuse lorsqursquoelle est maintenue pendant des deacutecennies
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 26
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Conception quasi expeacuterimentale
Compare un groupe qui a par exemple un problegraveme de santeacute avec un groupe exempt de ce trouble et remonte le temps pour deacuteterminer en quoi les caracteacuteristiques des deux groupes diffegraverent
Peut fournir une preuve raisonnablement forte de la relation entre lintervention et les reacutesultats mesureacutes meacutethode puissante drsquoexploration de lrsquoimpact drsquoune intervention lorsque la randomisation est impossible peut ecirctre appliqueacute aux grandes communauteacutes ainsi quaux groupes pas besoin de randomisation degraves le deacutepart (ex-ante) ce qui eacutevite certains des deacutefis et difficulteacutes de la randomisation
Lincapaciteacute agrave garantir leacutequivalence des groupes et agrave preacutevenir les changements au fil du temps peut entraicircner des reacutesultats moins fiables Les techniques dappariement neacutecessitent geacuteneacuteralement beaucoup de donneacutees dans les groupes dintervention et de comparaison ce qui peut prendre beaucoup de temps et ecirctre coucircteux agrave collecter Une bonne compreacutehension des facteurs agrave associer (sans cela il est possible quil existe des diffeacuterences systeacutematiques entre les groupes non controcircleacutes) Ces conceptions neacutecessitent un travail analytique complexe et des connaissances speacutecialiseacutees
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
27 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
TYPES DE RECHERCHE ET DEacuteVALUATION
DE QUOI SAGIT-IL AVANTAGES INCONVEacuteNIENTS
Essai randomiseacute Un groupe reccediloit une intervention tandis quun autre ne reccediloit pas cette intervention ou reccediloit une intervention diffeacuterente Les groupes sont formeacutes en utilisant un processus aleacuteatoire avec geacuteneacuteralement la mecircme chance decirctre alloueacutes agrave lun ou lautre groupe
Offre les reacutesultats les plus robustes et les plus fiables ce qui permet de croire que toute diffeacuterence mesureacutee entre les groupes est due agrave lintervention La reacutepartition aleacuteatoire devrait eacuteviter les diffeacuterences systeacutematiques entre les groupes une plus grande confiance dans lampleur de leffet et la relation entre lintervention et le reacutesultat approche internationalement reconnue
Faible prise en compte du contexte (par exemple contextes culturel institutionnel historique et eacuteconomique) difficile agrave faire au niveau de la population nationale utiliseacute agrave petite eacutechelle cela peut ne pas ecirctre pertinent au niveau national de la population (bien que cela repreacutesente un risque pour toutes les conceptions) Il peut ecirctre difficile de manipuler des variables pour expeacuterimenter une politique sociale (classe race ou lieu de reacutesidence par exemple) Des erreurs de randomisation peuvent invalider les reacutesultats il peut ecirctre difficile de persuader les deacutecideurs des avantages de cette conception problegravemes politiques et eacutethiques potentiels lieacutes agrave la randomisation (par exemple certains groupes beacuteneacuteficient aleacuteatoirement drsquoune intervention beacuteneacutefique et pas drsquoautres) peut prendre plus de temps de gestion et de temps agrave mettre en place que des quasi-expeacuteriences
Revues systeacutematiques meacuteta-analyses
Agreacutegation des reacutesultats des eacutetudes eacuteligibles avec les critegraveres de recevabiliteacute deacutefinis agrave lavance et les meacutethodologies revues
Meilleure source drsquoassurance que lrsquointervention fonctionne (ou ne fonctionne pas) meacuteta-analyse met en commun les reacutesultats statistiques les grandes revues ont un pouvoir statistique consideacuterable est reproductible par dautres chercheurs peut ecirctre appliqueacute agrave tout type de donneacutees ou deacutetude
Neacutecessite un nombre suffisant deacutetudes robustes dans un domaine donneacute meacutethodologie moins bien deacuteveloppeacutee pour la synthegravese de donneacutees qualitatives et de la litteacuterature laquo grise raquo peut produire des reacutesultats trompeurs si des biais de deacuteclaration seacutelectifs affectent la recherche disponible pour la revue
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 28
RECHERCHE EXPEacuteRIMENTALE - POURQUOI EN FAIRE TOUT UN PLATLes recherches expeacuterimentales telles que les essais randomiseacutes ont susciteacute beaucoup drsquoattention - certains diront peut-ecirctre trop Alors pourquoi ont-elles susciteacute autant drsquointeacuterecirct
Les praticiens et les deacutecideurs veulent souvent savoir si une intervention a eu un impact Y a-t-il eu un lien de causaliteacute entre leur nouveau programme et les laquo impacts raquo laquo effets raquo et laquo reacutesultats raquo agrave la fin Ils veulent pouvoir attribuer les effets constateacutes agrave la politique ou agrave lintervention testeacutee Les modegraveles expeacuterimentaux mecircme srsquoils sont parfois difficiles agrave mettre en œuvre dans la pratique ont plus de chances de montrer ce lien de cause agrave effet
Une eacutetude expeacuterimentale pourrait simplement tester et comparer deux groupes de personnes avant et apregraves lrsquointervention donneacutee agrave lrsquoun des groupes Mais si ces groupes ne sont pas formeacutes par randomisation il existe un risque que les groupes diffegraverent en raison du biais de seacutelection et que les diffeacuterences dans leurs reacutesultats soient alors dues agrave ces diffeacuterences dans leurs caracteacuteristiques et non aux effets de lintervention testeacutee Par exemple une personne qui demande lintervention peut ecirctre plus preacutedisposeacutee agrave des reacutesultats positifs Peut-ecirctre sont-ils plus motiveacutes en meilleure santeacute confiants et donc plus susceptibles de reacuteussir quelle que soit leur intervention Dautre part une personne qui souhaite une intervention peut ecirctre la plus vulneacuterable et la plus susceptible de mal se porter indeacutependamment de toute intervention Ces biais fausseront les reacutesultats de lexpeacuterience et pourraient signifier que celle-ci fournit une estimation erroneacutee de leffet de lintervention De plus les biais peuvent ecirctre impreacutevisibles et si nous ne connaissons pas le sens du biais nous ne pouvons pas simplement ajuster les reacutesultats de lexpeacuterience pour essayer de les prendre en compte43
Pour atteacutenuer ces biais nous pouvons utiliser un processus de randomisation une fois que la population de lrsquoeacutetude a eacuteteacute identifieacutee et qursquoils ont accepteacute de participer agrave lrsquoeacutetude les individus agrave comparer se voient attribuer de maniegravere aleacuteatoire les groupes drsquoeacutetude qui seront compareacutes par exemple par tirage au sort44
MODEgraveLES DE RECHERCHE EXPEacuteRIMENTALELe choix du plan expeacuterimental approprieacute et la reacutealisation de lrsquoeacutetude eacutetablissent correctement le lien de causaliteacute entre une intervention et une reacutealisation Lorsque lrsquoallocation aleacuteatoire est utiliseacutee pour affecter les participants agrave lrsquointervention ou au groupe de comparaison il srsquoagit du moyen le plus robuste pour deacuteterminer si une diffeacuterence dans les reacutesultats entre les groupes est due agrave lrsquointervention ou au hasard et le hasard est minimiseacute en effectuant une eacutetude assez vaste Lallocation aleacuteatoire minimise la possibiliteacute de diffeacuterences systeacutematiques entre les groupes quelles soient dues agrave des facteurs connus ou inconnus
Lintroduction dun groupe de controcircle avec lequel comparer lintervention minimise plusieurs biais qui compliquent normalement le processus deacutevaluation Par exemple si vous introduisez un systegraveme de transferts moneacutetaires pour augmenter les taux de vaccination et lutilisation des livraisons en eacutetablissement comment saurez-vous si ceux qui reccediloivent largent suppleacutementaire nauraient pas utiliseacute les services de toute faccedilon Vous devez les comparer agrave un groupe de personnes qui ne reccediloivent pas largent suppleacutementaire
Comme pour toute conception de recherche la force dun essai randomiseacute neacutecessite eacutegalement que leacutetude soit meneacutee correctement Cela implique de veiller agrave ce que la randomisation dindividus ou duniteacutes (eacutecoles hocircpitaux quartiers etc) soit correctement effectueacutee (laquo fideacuteliteacute dallocation raquo) et que seul le groupe expeacuterimental ait eacuteteacute exposeacute agrave lintervention
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
29 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
testeacutee (laquo fideacuteliteacute au traitement raquo) Un essai randomiseacute bien conduit requiert eacutegalement un nombre suffisant de participants et une puissance statistique suffisante pour que les autres facteurs (laquo facteurs de confusion raquo) qui auraient pu provoquer le reacutesultat soient eacutequilibreacutes entre le groupe expeacuterimental et le groupe teacutemoin Un faible taux dabandon (laquo attrition raquo) est eacutegalement neacutecessaire pour minimiser le risque de biais Il est donc important de veacuterifier les rapports sur un essai randomiseacute pour sassurer que ces critegraveres de validiteacute ont eacuteteacute remplis
Vous trouverez des informations suppleacutementaires sur la maniegravere de deacuteterminer si un essai randomiseacute a eacuteteacute meneacute et consigneacute correctement dans les instructions relatives agrave la conduite et aux rapports sur les essais45
LInitiative internationale pour leacutevaluation de limpact (3ie) a identifieacute des eacutevaluations dinterventions humanitaires en situation de conflit et de reacuteconciliation qui ont utiliseacute des essais randomiseacutes et des conceptions quasi expeacuterimentales (voir ci-dessous)46
Les maladies transmissibles sont un point particuliegraverement sensible dans les cas de populations affecteacutees par des conflits ou catastrophes et reacutesidant dans des camps Lors la phase de reacuteponse durgence les maladies diarrheacuteiques seules repreacutesentent plus de 40 des deacutecegraves Les maladies diarrheacuteiques peuvent reacutesulter dune varieacuteteacute de facteurs mais dans un contexte durgence un systegraveme dassainissement et un approvisionnement en eau adapteacutes (en quantiteacute comme en qualiteacute) repreacutesentent le principal vecteur de reacuteduction des diarrheacutees Les technologies de traitement de leau sont actuellement limiteacutees et peu de produits sont agrave mecircme de traiter une eau turbide
Shannon Doocy et Gilbert Burnham ont preacutesenteacute les conclusions dune eacutetude sur lefficaciteacute du traitement de leau sur place avec un floculant-deacutesinfectant dans 400 meacutenages au sein de camps pour population deacuteplaceacutee agrave Monrovia au Liberia47
Leacutetude a compareacute les taux de diarrheacutees chez les meacutenages utilisant un traitement de leau avec un floculant-deacutesinfectant ainsi quun systegraveme de stockage de leau
ameacutelioreacute (groupe dintervention) et chez les meacutenages ayant seulement un stockage deau ameacutelioreacute (groupe de controcircle) Les meacutenages ont eacuteteacute assigneacutes au groupe expeacuterimental ou au groupe teacutemoin de maniegravere aleacuteatoire
Dans le groupe dintervention la combinaison du traitement de leau au point dutilisation avec un floculant-deacutesinfectant avec un stockage ameacutelioreacute a reacuteduit lincidence des diarrheacutees de 90 et leur preacutevalence de 83 comparativement au groupe de controcircle avec stockage de leau ameacutelioreacute uniquement La concentration de chlore reacutesiduel du groupe dintervention atteignait ou deacutepassait les standards Sphere dans 85 des observations (95 CI 831ndash868) avec un taux de conformiteacute agrave 95
Doocy et Burnham ont conclu que la floculationdeacutesinfection au point dutilisation reacuteduisait significativement lincidence et la preacutevalence des maladies diarrheacuteiques chez les meacutenages reacutesidants dans des camps dans des contextes durgence
Utilisation de meacutethodes expeacuterimentales pour deacuteterminer lefficaciteacute des interventions humanitaires
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 30
QUESTIONS PRATIQUES ET EacuteTHIQUES LIEacuteES AUX EacuteTUDES RANDOMISEacuteESAvoir un groupe de controcircle conduit agrave une critique commune des essais randomiseacutes agrave savoir quils sont contraires agrave leacutethique car seule une partie de la population a accegraves agrave une intervention expeacuterimentale qui pourrait ecirctre consideacutereacutee comme supeacuterieure Ce laquo rationnement raquo de lrsquointervention est justifiable dans le cas ou nous ignorons si elle fera plus de bien que de mal et si nous faisons lrsquoessai pour le savoir Cependant sil existe deacutejagrave des preuves convaincantes que lintervention sera beacuteneacutefique il faudra peut-ecirctre encore faire un essai randomiseacute pour deacuteterminer son utiliteacute et pour qui Si tel est le cas il existe des moyens de contourner la critique et le deacutefi eacutethique Par exemple dans un essai controcircleacute randomiseacute sur liste dattente les personnes affecteacutees au groupe de controcircle se verront proposer lintervention agrave la fin de lessai ou agrave la fin de leur suivi personnel Une autre option est la conception laquo en gradins raquo ou laquo en pipeline raquo48 suivant laquelle lordre dans lequel les participants reccediloivent lintervention est deacutetermineacute au hasard ce qui permet de lintroduire progressivement pour que tous les participants y aient accegraves avant la fin de lessai Ce design a eacuteteacute utiliseacute pour leacutetude ProgresaOportunidades lun des plus grands essais randomiseacutes en matiegravere de deacuteveloppement international qui sest inteacuteresseacute aux transferts conditionnels de fonds dans la population rurale pauvre du Mexique49 Les eacutetudes par eacutetapes peuvent ecirctre tregraves fonctionnelles dans un monde gagneacute par lausteacuteriteacute ougrave il est difficile dacceacuteder agrave suffisamment de ressources pour deacuteployer un nouveau programme en une seule fois Elles permettent un deacuteploiement graduel tout en gardant le beacuteneacutefice dun essai randomiseacute pour en eacutevaluer lefficaciteacute Cependant les eacutetudes par eacutetapes sont complexes et peuvent ecirctre difficiles agrave impleacutementer De plus une intervention qui saveacutererait ecirctre inefficace ou nocive aurait tout de mecircme eacuteteacute appliqueacutee agrave tous les participants agrave lessai Dans le cas dinterventions comportementales ou de restructuration des prestations de service il peut alors ecirctre difficile voire impossible de revenir en arriegravere ou de laquo deacutesactiver raquo lintervention apregraves lessai
LORSQUE LA RANDOMISATION EST IMPOSSIBLE OU INACCEPTABLEDans certaines circonstances il peut ecirctre impossible ou inacceptable daffecter aleacuteatoirement des personnes agrave des groupes en vue de comparaison Par exemple il peut ecirctre impossible dutiliser un essai randomiseacute pour comparer les effets relatifs de diffeacuterents types de coordination des interventions durgence ou limpact de politiques nationales destineacutees agrave lameacutelioration de linteacutegration sociale des reacutefugieacutes50 Dans pareils cas les chercheurs peuvent ecirctre ameneacutes agrave utiliser des modegraveles quasi-expeacuterimentaux pour examiner les liens entre interventions et reacutesultats Cest ce quont fait Kayvan Bozorgmehr et Oliver Razum pour comparer les deacutepenses priveacutees en matiegravere de santeacute chez les demandeurs dasiles et reacutefugieacutes dAllemagne ayant un accegraves reacuteduit ou bien normal aux soins51 De mecircme Rodolfo Rossi et al ont utiliseacute des questionnaires avant et apregraves une campagne de vaccination pour mesurer ses effets sur la couverture vaccinale des jeunes enfants dans une zone de crise du Liban en 201552
MODEgraveLES QUASI-EXPEacuteRIMENTAUXIl existe une large varieacuteteacute de modegraveles quasi-expeacuterimentaux permettant de comparer les effets dinterventions et ils sont souvent utiliseacutes lorsque les essais randomiseacutes ne sont pas faisables Ce type deacutetude est similaire aux essais randomiseacutes dans la mesure ougrave ils permettent de comparer les reacutesultats entre individus et groupes beacuteneacuteficiant dune intervention ou programme et ceux nen beacuteneacuteficiant pas Cependant le fait de beacuteneacuteficier ou non de lintervention ou du programme nest pas assigneacute aleacuteatoirement Au lieu de cela on utilise alors dautres types de modegraveles comparatifs tels que les eacutetudes de seacuteries chronologiques interrompues les eacutetudes avant-apregraves ou bien des analyses utilisant la discontinuiteacute par reacutegression ou lappariement des coefficients de propension53 Il convient dobserver que les conceptions de type avant-apregraves sans groupe teacutemoin ne peuvent eacutetablir limpact dune intervention ou dun programme
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
31 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
donneacute puisquen labsence de contrefactuel (cest-agrave-dire un moyen de comparer avec ce qui ce serait passeacute sans lintervention) tout reacutesultat observeacute pourrait ecirctre ducirc agrave des facteurs autres que lintervention elle-mecircme Les conceptions quasi-expeacuterimentales preacutesentent
donc un plus grand risque de partialiteacute que des essais randomiseacutes bien meneacutes mais elles peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables54
Cette eacutevaluation sinscrit dans le cadre dune seacuterie deacutevaluations dimpact solliciteacutee conjointement par le Programme Alimentaire Mondial (PAM) et le Haut-Commissariat des Nations Unies pour les reacutefugieacutes (HCR) en 2011 et 2012 afin deacutevaluer le rocircle et la contribution de laide alimentaire en matiegravere dautonomie et de solutions durables pour les reacutefugieacutes et les populations daccueil55
Leacutevaluation concernait la situation prolongeacutee dans le Sud-Est du Bangladesh ougrave approximativement 30 000 reacutefugieacutes Rohingyas reccediloivent de laide dans deux camps officiels depuis plus de vingt ans Outre les reacutefugieacutes enregistreacutes approximativement 45 000 Rohingyas non enregistreacutes reacutesident dans des camps de fortune et plus de 150 000 reacutesident dans des communauteacutes daccueil dans le district de Cox Bazar
Pour eacutevaluer limpact aussi meacutethodologiquement et rigoureusement que possible que le permet le contexte un modegravele quasi expeacuterimental a eacuteteacute utiliseacute Le modegravele deacutevaluation portait principalement sur trois groupes de population
1 Les reacutefugieacutes vivant dans les deux camps de reacutefugieacutes officiels
2 Les Rohingyas non enregistreacutes vivant sur deux sites non officiels ou dans des communauteacutes daccueil
3 Les populations daccueil
La principale comparaison quantitative portait sur les reacutefugieacutes enregistreacutes recevant de laide alimentaire et les reacutefugieacutes non
enregistreacutes nen recevant pas La principale question de leacutevaluation eacutetait Quels sont les impacts diffeacuterentiels de laide alimentaire agrave long terme sur les diffeacuterentes populations de reacutefugieacutes Rohingyas et populations daccueil au Bangladesh
Leacutevaluation a conclu que tout comme dautres formes daide exteacuterieure laide alimentaire influe sur les choix des meacutenages en matiegravere dactiviteacute eacuteconomique et les strateacutegies de survie speacutecifiques quils adoptent Les reacutefugieacutes Rohingyas enregistreacutes sengageaient dans des activiteacutes eacuteconomiques significativement diffeacuterentes de celles pratiqueacutees par les reacutefugieacutes non enregistreacutes occupant notamment des emplois plus qualifieacutes et moins risqueacutes pour une reacutemuneacuteration moyenne supeacuterieure Leur situation eacuteconomique en termes daccumulation dactifs eacutetait eacutegalement significativement meilleure Laide alimentaire faisait partie inteacutegrante de leurs moyens de subsistance utiliseacutee principalement pour la consommation et comme garantie et transfert de valeur pour les precircts et mises en gage Le transfert de valeur de toute aide exteacuterieure dans les camps permettait aux reacutefugieacutes de travailler moins et de se reposer sur cette assistance en peacuteriode de crise
Malgreacute ces diffeacuterences tous les groupes de Rohingyas reacutefugieacutes non enregistreacutes eacutetaient tributaires dune activiteacute eacuteconomique pour assurer leur subsistance Les Rohingyas non enregistreacutes utilisaient un eacuteventail plus large de meacutecanismes de survie positifs comme neacutegatifs et constituaient une part importante de la main doeuvre de la reacutegion
Deacuteterminer lefficaciteacute des interventions humanitaires avec les modegraveles quasi-expeacuterimentaux Contribution de laide alimentaire agrave linstauration de solutions durables dans les situations prolongeacutees de reacutefugieacutes
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 32
AU-DELAgrave DE LEXPEacuteRIMENTATION DE NOUVELLES APPROCHES DEacuteVALUATIONEn matiegravere dimpact il nous faut raisonner au-delagrave du seul recours aux expeacuterimentations de type essais randomiseacutes Bien que les essais et les modegraveles quasi-expeacuterimentaux fonctionnent bien lorsquil sagit de tester des interventions simples les interventions agrave tester sont souvent complexes Les ONG travaillant avec la socieacuteteacute civile en particulier opegraverent rarement seules et ont rarement la chance de manipuler des laquo traitements raquo expeacuterimentaux univoques pouvant se precircter agrave un essai randomiseacute Les eacutevaluateurs sont agrave la recherche de maniegraveres alternatives de proceacuteder qui impliquent de deacutepasser la notion de causaliteacute bi-univoque et exigent une reacuteflexion approfondie sur ce qui constitue votre laquo contribution raquo
Dans le monde complexe de laction humanitaire il est peu probable que votre seul programme soit la condition neacutecessaire et suffisante de succegraves Il peut necirctre quun facteur parmi dautres dans un laquo package de causaliteacute raquo Le succegraves dun programme deacutependra de tous ces autres facteurs environnants Par le passeacute une simple explication causale de laquo ce qui fonctionne raquo pouvait suffire mais deacutesormais les chercheurs ont plutocirct tendance agrave se demander laquo est-ce que notre intervention fait la diffeacuterence Quest-ce qui ce serait passeacute sans notre intervention raquo
Il y a toute une palette dapproches qui gagnent en populariteacute chez les eacutevaluateurs comme les modegraveles deacutevaluations laquo baseacutes sur la theacuteorie raquo56 et laquo baseacutes sur les cas raquo la theacuteorie de la complexiteacute leacutevaluation reacutealiste57 lanalyse de contribution58 la reconstitution de processus59 ou lanalyse comparative qualitative60 Ces approches ont en commun de reconnaicirctre la complexiteacute de la causaliteacute neacutecessitant une identification des meacutecanismes de causaliteacute parmi une varieacuteteacute de cas ou eacuteveacutenements speacutecifiques et des eacuteleacutements de la chaicircne de causaliteacute fluctuants Cela suppose laquo didentifier les conditions et les autres causes en jeu qui produisent activent ou deacuteclenchent les effets observeacutes lors de
lintervention raquo61 Par exemple dans lanalyse de contribution la recherche ne vise pas agrave deacutemontrer quun facteur donneacute ndash par exemple une politique donneacutee ndash laquo produit raquo le reacutesultat deacutesireacute mais cherche au contraire agrave eacutevaluer dans quelle mesure cette politique a contribueacute aux reacutesultats observeacutes Elle reconnaicirct que les effets sont produits non par une seule cause mais par plusieurs causes en mecircme temps
Ces approches ne sont pas nouvelles62 En effet la recherche dune theacuteorie fiable est sans aucun doute agrave la base de toute bonne deacutemarche scientifique Par conseacutequent lutilisation dune approche laquo baseacutee sur la theacuteorie raquo nest pas nouvelle mais ces meacutethodes deacutevaluation dimpact ont gagneacute en populariteacute et elles permettent en effet aux eacutevaluateurs de prendre en compte les causaliteacutes multiples
EST-CE QUE CELA EN A VALU LA PEINE LINTEacuteREcircT DES ANALYSES COUcircT-AVANTAGE ET COUcircT-EFFICACITEacuteAyant deacutetermineacute et mesureacute les effets dune intervention il est important pour le secteur humanitaire comme pour tout autre secteur de deacuteterminer si ces programmes et interventions apportent un bon rapport qualiteacute-prix Lorsque les budgets sont serreacutes il est neacutecessaire de pouvoir trancher en faveur des actions susceptibles de produire les beacuteneacutefices les plus importants Les deacutecideurs commanditaires organismes de subvention et organisations caritatives reacuteclament une augmentation et une ameacutelioration des mesures dimpact pour chaque livre dollar ou euro deacutepenseacute Les techniques deacutevaluation eacuteconomique permettent davoir cette vision sur la valeur des programmes
Il existe tout une varieacuteteacute de techniques deacutevaluation eacuteconomique Une analyse coucirct-efficaciteacute (ACE) permet didentifier la meilleure maniegravere datteindre un reacutesultat souhaiteacute Tandis que lanalyse coucirct-avantage (ACA) permet de savoir quelle est la meilleure utilisation des ressources disponibles Lanalyse coucirct-utiliteacute (ACU) calcule quelle intervention produit le plus grand bien-ecirctre subjectif pour les populations cibles12
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
33 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Agrave chaque fois que cest possible leacutevaluation eacuteconomique tente dattribuer une valeur moneacutetaire agrave chacune des causes ou activiteacutes qui contribuent agrave produire les effets qui agrave leur tour megravenent aux reacutesultats souhaiteacutes ainsi que leurs impacts eacuteconomiques sociaux et environnementaux agrave long terme
Tout ceci constitue lanalyse des coucircts Les mecircmes proceacutedures sont ensuite utiliseacutees pour attribuer une valeur moneacutetaire aux effets et impacts souhaiteacutes de la politique engageacutee Les eacuteventuels effets et impacts neacutegatifs sont deacuteduits de la valeur moneacutetaire des effets et impacts positifs qui ont eacuteteacute atteints par ailleurs Ce qui constitue lanalyse des beacuteneacutefices
Les valeurs moneacutetaires sont tireacutees dans la mesure du possible de lactiviteacute du marcheacute lorsquelle existe Le marcheacute du travail par exemple attribue une valeur moneacutetaire aux diffeacuterents types et uniteacutes de travail Le marcheacute du bacirctiment fournit la valeur moneacutetaire (le coucirct) des biens neacutecessaires agrave la construction dun hocircpital ou dune eacutecole ndash briques acier verre ciment etc Les coucircts des soins meacutedicaux peuvent ecirctre deacuteduit des charges de fonctionnement fixes et variables des hocircpitaux centres meacutedicaux cliniques communautaires mais aussi des coucircts des meacutedicaments fournitures meacutedicales et ainsi de suite Cest ce que lon appelle la laquo moneacutetisation raquo des coucircts et beacuteneacutefices
Certains coucircts et (surtout) certains beacuteneacutefices ne sont pas neacutegocieacutes sur un marcheacute et sont donc plus difficiles agrave moneacutetiser Dans ce type de cas des eacuteconomistes peuvent estimer les beacuteneacutefices (et parfois les coucircts) en simulant une activiteacute marchande agrave laide de sondages eacutevaluant les consentements agrave payer et agrave
recevoir Le consentement agrave payer (CAP) est deacutefini comme laquo le montant maximum quun individu est precirct agrave payer en eacutechange dun bien raquo12 De mecircme le consentement agrave recevoir (CAR) laquo est la somme minimum quun individu exigerait en compensation dun bien raquo12 Les reacutesultats dune enquecircte de CAP ou CAR fournissent ce que les eacuteconomistes appellent les laquo preacutefeacuterences exprimeacutees raquo cest-agrave-dire ce que les gens deacuteclarent ecirctre precircts agrave payer ou agrave recevoir en eacutechange dun bien ou dun service Agrave deacutefaut les eacuteconomistes tentent dobserver les comportements sur le marcheacute reacuteel Autrement dit ils creacuteent une situation dans laquelle on demande agrave des individus de payer diffeacuterentes sommes ou de recevoir diffeacuterentes sommes en eacutechange dun bien ou dun service Les comportements effectifs des individus sont ensuite enregistreacutes On obtient ainsi ce que les eacuteconomistes appellent les laquo preacutefeacuterences reacuteveacuteleacutees raquo
En plus des proceacutedures mentionneacutees ci-dessus leacutevaluation eacuteconomique permet eacutegalement de savoir qui reccediloit les beacuteneacutefices qui supporte les coucircts et pour quelle dureacutee La valeur eacuteconomique des beacuteneacutefices qui ne seront reacutealiseacutes quagrave moyen ou long terme est actualiseacutee gracircce agrave ce quon appelle un taux dactualisation Dautres ajustements au calcul des coucircts et beacuteneacutefices incluent les variations des prix relatifs les diffeacuterences mateacuterielles en termes doptions fiscales le biais doptimisme et la prise en compte des contingences de type inondations seacutecheresses ou les effets du changement climatique Leacutevaluation eacuteconomique est un travail assez technique qui requiert habituellement lexpertise dun eacuteconomiste
Les modegraveles quasi-expeacuterimentaux peuvent tout de mecircme permettre de deacutegager de fortes infeacuterences causales dans des circonstances ougrave les essais randomiseacutes sont impossibles ou inacceptables
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 34
Toutes les preuves ne se valent pas Certaines sont de meilleure qualiteacute et seront plus approprieacutees aux deacutefis que vous avez agrave relever
Le type deacutetude doit ecirctre adapteacutee agrave vos besoins particuliers et la meacutethode utiliseacutee doit avoir eacuteteacute appliqueacutee et analyseacutee de maniegravere adeacutequate
Ne soyez pas deacutecourageacute par la longue liste de meacutethodologies modegraveles et approches de recherche Lessentiel est de comprendre les hypothegraveses qui sous-tendent ces meacutethodes
Certains modegraveles deacutevaluation (comme les modegraveles expeacuterimentaux et quasi-expeacuterimentaux) sont plus adapteacutes pour deacutemontrer la preacutesence dun lien de causaliteacute
Dautres meacutethodes de recherche sont plus approprieacutees pour expliquer comment se forment ces liens de causaliteacute ou pour reacutepondre agrave dautres questions
Les eacutevaluations et techniques baseacutees sur la theacuteorie telles que lanalyse des contributions gagnent en populariteacute aupregraves des eacutevaluateurs Ces techniques sont utiles lorsquune expeacuterimentation savegravere difficile ou quil est impossible dassocier speacutecifiquement votre politique ou programme agrave un reacutesultat clairement deacutefini
Il ne sagit pas seulement de deacuteterminer si votre intervention fonctionne ou non mais plutocirct si elle a un laquo bon rapport qualiteacuteprix raquo
Les techniques telles que lrsquoanalyse coucircts-beacuteneacutefices peuvent vous aider agrave appreacutehender la valeur financiegravere de limpact dune intervention
Il peut saveacuterer neacutecessaire de deacuteterminer quelles parties de la population beacuteneacuteficient le plus dune intervention Ce qui peut souvent ecirctre occulteacute si on ne se fie quagrave leffet moyen sur lensemble dune population
Messages cleacutes pour la partie 1 de la section C
Il est important pour le secteur humanitaire de savoir si ses programmes et interventions sont optimales sur le plan eacuteconomique
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
35 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
PARTIE 2 COMMENT EacuteVALUER LA QUALITEacute DUNE RECHERCHE
Une autre maniegravere de choisir le type deacutetude dont vous avez besoin est de vous demander quelles eacutetudes sont dignes de confiance De quel niveau de preuve ai-je besoin Est-ce que jai besoin dun article publieacute dans une revue scientifique agrave impact eacuteleveacute Et que dire dune eacutevaluation interne conduite par ma propre organisation Est-ce que son niveau de preuve serait valable
La publication dans une revue scientifique soumise agrave un comiteacute de lecture peut vous donner confiance dans une eacutetude mais ce nest pas la garantie dune qualiteacute supeacuterieure Dans un article ceacutelegravebre John Ioannidis de lUniversiteacute de Stanford aux Eacutetats-Unis avait fait sensation en soutenant que laquo la plupart des conclusions publieacutees sont probablement fausses raquo Il avait examineacute les articles les plus freacutequemment citeacutes (au moins 1000 citations) dans certaines des revues meacutedicales les plus prestigieuses au monde ndash provenant essentiellement de The Lancet le New England Journal of Medicine et le Journal of the American Medical Association63 Parmi ceux alleacuteguant une valeur theacuterapeutique positive et dont les reacutesultats avaient eacuteteacute testeacutes lors deacutetudes ulteacuterieures 41 se sont aveacutereacutes ecirctre erroneacutes ou avoir un impact bien infeacuterieur agrave ce que suggeacuterait leacutetude originelle
EN QUOI LEXAMEN PAR LES PAIRS AIDE LES DEacuteCIDEURS Nous devons eacutegalement ecirctre conscients du fait que lexamen par les pairs qui est un fondement de la publication scientifique est loin decirctre parfait Il peut y avoir des partis pris inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs Et le principe mecircme des revues scientifique peut ecirctre fausseacute par le biais de publication des reacutesultats positifs ont plus de chances decirctre publieacutes64 lagrave ougrave les
reacutesultats neacutegatifs ont tendance agrave rester laquo au fond du tiroir raquo Par exemple une eacutetude effectueacutee par des chercheurs de lUniversiteacute de Stanford a constateacute que la plupart des eacutetudes aboutissant agrave un reacutesultat non significatif ne sont jamais publieacutees seulement 20 avaient eacuteteacute publieacutees et pour 65 dentre elles aucun article navait mecircme eacuteteacute reacutedigeacute65 Cela peut avoir de graves conseacutequences pour les deacutecideurs examinant les donneacutees Si vous navez jamais eu connaissance des reacutesultats neacutegatifs dune nouvelle intervention vous pourriez conclure - agrave tort que tout est pour le mieux et que lintervention est efficaceMalgreacute ces problegravemes lexamen par les pairs reste pour beaucoup le modegravele de reacutefeacuterence lorsquil sagit de deacutecider ce qui meacuterite decirctre publieacute dans la litteacuterature scientifique un garde-fou contre les travaux mal effectueacutes66
Se baser sur un article ou une eacutetude qui a fait lobjet dun examen indeacutependant par dautres experts permet davoir une certaine confiance dans la recherche effectueacutee Bien quil faille parfois des anneacutees avant quune eacutetude puisse ecirctre publieacutee (ce qui peut ecirctre trop long si vous devez prendre une deacutecision rapidement) lexamen par les pairs apporte agrave la litteacuterature scientifique une forme de controcircle de la qualiteacute qui inspire la confiance
DEacuteFINIR UNE RECHERCHE laquo DE HAUTE QUALITEacute raquoLexamen par les pairs procure un minimum dassurance Mais que faire si vous devez inclure des donneacutees qui nont pas eacuteteacute veacuterifieacutees par dautres experts Comment deacutecider si elles constituent une base deacutecisionnelle suffisante Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 36
Ou de passer agrave cocircteacute du formidable gisement deacutevaluations provenant de donateurs ou dONG qui ne sont jamais publieacutees dans des revues acadeacutemiques mais sont seulement disponibles dans la laquo litteacuterature grise raquo Il existe de nombreuses deacutefinitions de la litteacuterature grise mais ce terme se reacutefegravere geacuteneacuteralement agrave la documentation non publieacutee ou bien publieacutee sans examen par les pairs Elle peut eacutegalement se reacutefeacuterer agrave de la recherche qui est toujours en cours ou bien en attente de publication Les rapports gouvernementaux deacuteclarations de principes documents dorientation politique actes de confeacuterences font eacutegalement partie de la litteacuterature grise La litteacuterature grise est importante car elle peut contenir des reacutesultats de recherche non concluants ou rapporter des interventions infructueuses ce qui est important pour une prise de deacutecision informeacutee baseacutee sur des preuves eacutequilibreacutees On peut consulter la litteacuterature grise via des bases de donneacutees eacutelectroniques comme Open Grey (wwwopengreyeu) des actes de confeacuterence et des dossiers financiers eacutemanant dorganismes de financement de la recherche Les sites webs dorganisations ayant un inteacuterecirct ou une expertise dans un domaine particulier peuvent ecirctre une autre source de litteacuterature grise
Ces organisations peuvent ecirctre contacteacutees pour identifier des chercheurs et deacutecideurs ayant une expertise dans le domaine rechercheacute Le mieux lorsquon cherche agrave eacutevaluer la qualiteacute de la preuve est de commencer par deacutefinir ce quon entend par qualiteacute Lun des problegravemes est que des expressions telles que laquo qualiteacute raquo laquo standards raquo laquo robustesse raquo laquo biais raquo ou laquo soliditeacute raquo sont souvent utiliseacutes comme sils eacutetaient interchangeables et sans clairement les deacutefinir
Ce qui geacutenegravere beaucoup de confusion Par exemple pour certaines directives67 la laquo
qualiteacute raquo de la recherche se reacutefegravere agrave lutilisation de modegraveles et meacutethodes particuliers comme les essais randomiseacutes Cette accent mis sur la minimisation des partis pris comme moyen de garantir la qualiteacute prend son origine dans une approche meacutedicale et clinique de la qualiteacute de la preuve comme le systegraveme GRADE68 ou leacutechelle de mesure Maryland Scientific Methods Scale69 Ces approches de leacutevaluation de la qualiteacute sont habituellement baseacutees sur la validiteacute interne des eacutetudes leur validiteacute externe et la qualiteacute de la preacutesentation des reacutesultats de la recherche
La qualiteacute se reacutefegravere agrave la maniegravere dont les eacutetudes ont eacuteteacute conduites preacutesenteacutees et analyseacutees70 ainsi quagrave linteacutegriteacute des chercheurs qui ne doivent pas deacutetourner ni falsifier leurs donneacutees71 Pour certains la qualiteacute peut aussi ecirctre lieacutee agrave la pertinence dune eacutetude au regard des politiques et pratiques concerneacutees72
Lorsquon cherche agrave deacuteterminer une causaliteacute il est neacutecessaire de se demander si le modegravele de recherche utiliseacute pour une eacutetude permet effectivement de deacuteterminer la causaliteacute et si le modegravele a eacuteteacute correctement mis en oeuvre Une eacutevaluation dimpact de bonne qualiteacute permet dattribuer une causaliteacute de montrer que lintervention est la cause des reacutesultats Cela requiert une comparaison avec un groupe de controcircle qui soit aussi similaire que possible au groupe dintervention agrave tous point de vue en dehors de lintervention elle-mecircme Si cest bien le cas et que leacutetude a eacuteteacute correctement conduite il en ressort une confiance eacuteleveacutee dans le lien de causaliteacute entre votre intervention et les effets sur par exemple la preacutevention de la violence la reacuteduction du stress familial ou un retour plus rapide agrave lemploi Il est eacutegalement important de se demander si les effets observeacutes lors de leacutetude peuvent ecirctre reproduits ailleurs Cest ce qui alimente la demande pour les meacutethodes mixtes de recherche et deacutevaluation ou agrave tout le moins pour une partie de recherche qualitative
Ce serait clairement une erreur dignorer des donneacutees issues de la recherche simplement parce quelles nont pas eacuteteacute publieacutees dans des revues scientifiques soumises agrave comiteacute de lecture
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
37 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE QUALITATIVE DE HAUTE QUALITEacuteDes donneacutees qualitative de bonne qualiteacute73 peuvent souvent saveacuterer preacutecieuses pour les deacutecideurs politiques La creacutedibiliteacute scientifique des donneacutees qualitatives est aussi bonne que celle des donneacutees quantitatives et une combinaison des deux est susceptibles daider les deacutecideurs agrave utiliser des donneacutees probantes sur les effets dune intervention pour deacutecider de lapplicabiliteacute des donneacutees en fonction de leur situationLessentiel est que les donneacutees issues de la recherche soient adapteacutees aux problegravemes que vous avez agrave reacutesoudre sur le terrain Elles doivent ecirctre issues dune recherche qui a utiliseacute des meacutethodes approprieacutees collecteacute et analyseacute les donneacutees (qualitatives comme quantitatives) selon des meacutethodes clairement deacutefinies et reproductibles et preacutesenteacute ses conclusions de maniegravere transparente en veillant agrave minimiser les biais
Comme pour la recherche quantitative il existe des standards et des recommandations portant sur la qualiteacute des eacutevaluations et recherches qualitatives74 Alors que la qualiteacute des eacutetudes expeacuterimentales est habituellement baseacutee sur la validiteacute interne la validiteacute externe et une preacutesentation adeacutequate des reacutesultats la qualiteacute dune eacutetude qualitative deacutependra typiquement de son caracegravere contributif justifiable rigoureux et creacutedible Une eacutetude contributive fait progresser les connaissances et la compreacutehension concernant une certaine politique theacuteorie ou un domaine particulier Une eacutetude est justifiable si sa strateacutegie de recherche est pertinente au regard des questions deacutevaluation poseacutees La rigueur de leacutetude se reacutefegravere au caractegravere systeacutematique et transparent de la collecte de lanalyse et de linterpreacutetation des donneacutees qualitatives Sa creacutedibiliteacute se reacutefegravere au caractegravere bien fondeacute et plausible des arguments relatifs aux donneacutees probantes geacuteneacutereacutees
UTILISER LES REVUES SYSTEacuteMATIQUES POUR EacuteVITER LE laquo CHERRY PICKING raquo (LA SEacuteLECTION DE DONNEacuteES ALLANT TOUTES DANS LE MEcircME SENS EN IGNORANT LES AUTRES)Les deacutecideurs doivent examiner la qualiteacute de lensemble des donneacutees probantes disponibles
et non seulement de certaines donneacutees choisies Ils doivent au contraire utiliser une agreacutegation des donneacutees issues de la recherche Dailleurs une synthegravese fidegravele de linformation existante est consideacutereacutee comme laquo la contribution la plus importante des chercheurs au processus deacutecisionnel raquo75 Lessentiel de la reacuteflexion sur la qualiteacute entreprise ci-dessus a porteacute sur la laquo recherche primaire raquo autrement dit des eacutetudes individuelles quils sagissent dexpeacuterimentations de questionnaires ou de seacuteries dentretiens Mais il est important de consideacuterer les laquo synthegraveses de recherche raquo et le travail consistant agrave rassembler et reacutecapituler une seacuterie deacutetudes individuelles Lideacutee nest pas nouvelle et le concept dune prise de deacutecision sur la base des donneacutees probantes accumuleacutees est utiliseacute depuis des siegravecles76
Notre discussion preacuteceacutedente sur les biais cognitifs a montreacute que les gens sont susceptibles de tomber dans le piegravece inconscient qui consiste agrave rechercher des donneacutees qui confirment nos croyances Il est donc neacutecessaire lorsquon rassemble la recherche existante de veiller particuliegraverement agrave inclure eacutegalement les eacutetudes dont les conclusions ne nous plaisent pas Une faccedilon deacuteviter le laquo cherry picking raquo est dutiliser ce quon appelle des revues systeacutematiques77 Elles se veulent exhaustives et visent agrave recueillir un maximum deacutetudes portant sur la question poseacutee et pertinentes pour la reacutesolution des problegravemes agrave reacutesoudre sur le terrain Elles utilisent des meacutethodes preacutecises pour deacuteterminer quelles conclusions fiables peuvent ecirctre tireacutees des eacutetudes existantes et eacutevaluer les meacutethodes et modegraveles utiliseacutees par ses eacutetudes pour en deacuteterminer la qualiteacute
Quelques unes des principales caracteacutestiques78 dune revue systeacutematique sont Une question de recherche clairement formuleacutee des objectifs et des critegraveres pour la seacutelection des eacutetudesUne meacutethodologie explicite et reproductible pour minimiser les biaisUne recherche systeacutematique pour identifier un maximum deacutetudes remplissant les critegraveres de seacutelectionUne eacutevaluation formelle de la validiteacute des conclusion des recherches inclusesUne preacutesentation systeacutematique ainsi quune synthegravese des caracteacuteristiques et conclusions des eacutetudes incluses
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 38
Le Comiteacute international de secours (International Rescue Committee IRC) sappuie eacutenormeacutement sur les preuves issues de la recherche dans le cadre du deacuteveloppement de la documentation et outils dorientation des programmes agrave lintention des eacutequipes de terrain Ceci en reacutealisant des revues de la recherche croisant un grand nombre de sources de grande qualiteacute portant sur des interventions ou approches speacutecifiques et en utilisant les connaissances ainsi acquises sur les impacts contextes et conditions des interventions pour deacutecider de lopportuniteacute et de la maniegravere dadapter ces interventions agrave des contextes speacutecifiques
Ce qui nest pas sans difficulteacutes car la majoriteacute des eacutetudes disponibles ne contiennent pas certaines informations critiques comme la fideacuteliteacute de la mise en oeuvre les meacutecanismes de causaliteacute ou les speacutecificiteacutes lieacutees au genre
Cet effort geacuteneacuteraliseacute pour assurer une disponibiliteacute des donneacutees agrave destination de leurs eacutequipes est reacutealiseacute par le biais du cadre logique dintervention de lIRC (Outcomes and Evidence Framework oefrescueorg) Sur cette plateforme eacutelectronique accessible au public lIRC deacutetaille les effets et sous-effets examineacutes dans le cadre de leur travail les theacuteories geacuteneacuterales du changement (ou parcours) permettant datteindre ces objectifs et des indicateurs pour les mesurer
Pour chaque effet et sous-effet lIRC a syntheacutetiseacute les meilleures donneacutees quantitatives portant sur lefficaciteacute des interventions visant agrave modifier ou ameacuteliorer leffet ou sous-effet concerneacute en se concentrant tout particuliegraverement sur des donneacutees issues de revues systeacutematiques Pour les sujets sur lesquels une revue systeacutematique nexiste pas encore lIRC a identifieacute et fait la synthegravese deacutevaluations dimpact individuelles
Utilisation de revues systeacutematiques pour deacutevelopper lencadrement du personnel
Les approches systeacutematiques ont eacutegalement le meacuterite dexpliciter la maniegravere dont elles recherchent des eacutetudes et deacutecident de leur inclusion ou non Ce qui permet en theacuteorie79 agrave dautres de reproduire cette revue systeacutematique
En 2018 Christl Donnelly et coll ont suggeacutereacute quatre principes pour aider les chercheurs deacutecideurs et autres agrave commander effectuer partager eacutevaluer et utiliser les synthegraveses de donneacutees notamment les revues systeacutematiques80 Les synthegraveses de donneacutees devraient selon eux ecirctre inclusives rigoureuses transparentes et accessibles critegraveres quils preacutecisent comme suit
InclusiveAssocie les deacutecideurs et pertinent pour eux
Inclut de nombreux diffeacuterents types et sources de donneacutees
Implique des compeacutetences et personnes varieacutees
Rigoureuse
Utilise un ensemble de donneacutees le plus complet possible
Reconnaicirct les partis pris et veille agrave les minimiser
Est examineacutee de maniegravere indeacutependante dans le cadre dun processus dassurance de la qualiteacute
TransparenteDeacutecrit clairement la question de recherche les meacutethodes les sources de donneacutees et le processus dassurance de la qualiteacute
Identifie les difficulteacutes et les points litigieux
Signale les hypothegraveses restrictions et incertitudes y compris tout type de lacunes dans les donneacutees probantes
Indique les inteacuterecircts personnels politiques et organisationnels et gegravere les eacuteventuels conflits qui en deacutecoulent
AccessibleEst reacutedigeacutee dans un langage clair
Est disponible pour une dureacutee approprieacutee
Est librement accessible en ligne
EacuteTUDE DE CAS
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
39 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
MEacuteTA-ANALYSELa meacuteta-analyse repreacutesente une part importante des revues systeacutematiques pour lesquelles tout ou partie des eacutetudes incluses sont suffisamment similaires statistiquement (laquo homogegravenes raquo) en termes de population intervention moyens de comparaison et reacutesultats pour ecirctre rassembleacutees et agreacutegeacutees Cela aboutit agrave une estimation cumuleacutee des effets dont le risque de parti pris est geacuteneacuteralement infeacuterieur agrave celui des eacutetudes individuelles prises isoleacutement et dont la preacutecision est plus grande Les meacuteta-analyses sont souvent repeacutesenteacutees par des graphiques en forecirct81 comme celui de la Figure C1 issue dune revue systeacutematique reacutecente sur limpact des programmes de soutien envers les populations affecteacutees par des urgences humanitaires Les meacuteta-analyses sont peut-ecirctre plus connues pour combiner les reacutesultats dessais randomiseacutes mais elle peuvent eacutegalement ecirctre utiliseacutees pour des donneacutees provenant dautres types deacutetudes comme les eacutetudes cas-teacutemoin transversales ou de cohorte
LES GRAPHIQUES EN FOREcircTLa Figure C1 preacutesente les conclusions de 28 eacutevaluations dimpact comparant des personnes en situation durgence humanitaire ayant beacuteneacuteficieacute de programmes de soutien psychosocial ou de santeacute mentale avec dautres nayant pas beacuteneacuteficieacute de ce type dintervention82 Dans ce graphique en forecirct les donneacutees preacutesentent les effets des programmes sur les syndromes de stress post-traumatique
Mesure Continu d (Hedges g)
Heacuteteacuterogeacuteneacuteiteacute Q=206 df=27 p=0 I2=869 tau-carreacute=029Modegravele agrave effets aleacuteatoires -0463 (-0689 -0237)
Figure C1 Graphique en forecirct sur les effet de programmes de soutien psychosociaux ou de santeacute mentale sur les syndromes de stress post-traumatique82
Berger (2009)
Catani (2009)
Chen (2014)
Chen (2014)
Cluver (2015)
Dybdahl (2001)
Ertl (2011)
Ertl (2011)
Gordon (2008)
Jordans (2010)
Khamis (2004)
Khamis (2004)
Lange-Neilsen (2012)
Layne (2008)
McMullen (2013)
OCallaghan (2013)
OCallaghan (2014)
OCallaghan (2015)
OCallaghan (2015)
Pityaratstian (2015)
Qouta (2012)
Qouta (2012)
Schauer (2008)
Tol (2008)
Tol (2012)
Tol (2012)
Tol (2014)
Tol (2014)
TOTAL
-1269 (-1607 | -0932) W51
0251 (-047 | 0971) W11
-1277 (-241 | -0144) W05
-0138 (-1152 | 0875) W06
059 (-0257 | 1436) W08
-0137 (-0558 | 0284) W33
-0457 (-112 | 0206) W13
-0035 (-07 | 0629) W13
-1116 (-1595 | -0637) W25
-018 (-0858 | 0498) W13
0205 (0006 | 0404) W146
0066 (-0178 | 0311) W97
-011 (-0462 | 0243) W46
-0109 (-0599 | 038) W24
-2727 (-3539 | 1915) W09
-1944 (-266 | -1228) W11
-0405 (-072 | -009) W58
-1994 (-2848 | 1141) W08
-2595 (-3558 | 1633) W06
-0473 (-1137 | 019) W13
001 (-0367 | 0387) W41
-0401 (-0813 | 0011) W34
-0062 (-07 | 0576) W14
-0656 (-098 | -0332) W55
0329 (0006 | 0652) W56
-0074 (-0329 | 018) W9
-0166 (-0479 | 0148) W59
-0102 (-0426 | 0222) W55
-0463 (-0689 | -0237)
-35 -3 -25 -2 -15
Favorise lintervention Favorise le controcircle
-1 0 05 1
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 40
(SSPT) comme une variable continue Pour chaque eacutetude figurant dans le graphique le point rouge repreacutesente leffet moyen de lintervention et les lignes horizontales traversant les points rouges repreacutesentent lintervalle de confiance pour chaque eacutetudeLa ligne pleine verticale partant de zeacutero sur laxe horizontal indique une absence deffet du programme et les reacutesultats de toutes les eacutetudes sont rassembleacutees pour calculer leffet estimeacute global des programmes Cette nouvelle valeur est illustreacutee par le losange noir (entoureacute de rouge) dans le bas du graphique Il repreacutesente leffet estimeacute cumuleacute issu du regroupement et de lagreacutegation des effets moyens et de leur variance pour les 28 eacutevaluations dimpact incluses dans la revue Il nous permet de conclure quen moyenne les programmes de soutien de santeacute mentale et psychosociale ont un leacuteger effet positif sur le SSPT comparativement agrave une absence dintervention
EacuteVALUATION RAPIDE DES DONNEacuteESLa preacuteparation de revues systeacutematiques et de meacuteta-analyses peut prendre beaucoup de temps Cela signifie que si une eacutetude systeacutematique agrave jour nest pas disponible et quune deacutecision doit ecirctre prise rapidement on peut avoir besoin de rechercher soi-mecircme les donneacutees pertinentes puis les eacutevaluer et les syntheacutetiser plus rapidement quon ne le ferait normalement pour une revue systeacutematique dans les regravegles de lart Heureusement si les revues systeacutematiques sont deacutejagrave nombreuses leur nombre continue daugmenter rapidement et dans la section D nous montrons comment les trouver ainsi que dautres collectes disponibles Cependant si vous ne trouvez pas ce que vous cherchez parmi les revues systeacutematiques existantes ou que vous trouviez des revues caduques vous serez peut-ecirctre ameneacute agrave commander une revue systeacutematique laquo reacuteduite raquo comme une eacutevaluation rapide des donneacutees probantes83 Ces revues rapides prennent habituellement 1 agrave 3 mois et sont planifieacutees de maniegravere agrave reacutepondre aux besoins des deacutecideurs et praticiens qui nont pas le temps dattendre
une revue systeacutematique complegravete Elles utilisent la mecircme structure de base et les mecircmes eacutetapes quune revue systeacutematique complegravete mais ne sont pas aussi intensives exhaustives ou complegravetes Elles sont ameneacutees agrave prendre des raccourcis dans la recherche leacutevaluation critique lextraction et collecte de donneacutees ainsi que lanalyse statistique des eacutetudes incluses Les conclusions sont eacutegalement preacutesenteacutees de maniegravere plus courte et moins deacutetailleacutee que pour une revue systeacutematique complegravete Elle peuvent ecirctre infeacuterieures agrave 25 pages avec un reacutesumeacute analytique de 3 pages et un document dinformation dune page agrave lintention des deacutecideurs Les limites des eacutevaluations rapides de donneacutees par rapport aux revues systeacutematiques sont leur manque dexhaustiviteacute et de deacutetail et leur plus grande tendance aux parti pris Par conseacutequent il est neacutecessaire de faire preuve de plus de prudence lorsquon est ameneacute agrave baser une deacutecision sur une eacutevaluation rapide de donneacutees que pour une revue systeacutematique complegravete
Malgreacute ces limitations elles sont freacutequemment commandeacutees et utiliseacutees par les deacutecideurs et responsables de mise en oeuvre de programmes en particulier lorsque le temps presse et quune eacutevaluation systeacutematique nest pas disponible
Un type particulier deacutevaluation rapide appeleacutee une eacutevaluation rapide des besoins en recherche peut eacutegalement ecirctre utiliseacute pour identifier rapidement les lacunes dans les donneacutees probantes Au Royaume-Uni lEacutequipe de soutien rapide pour la santeacute publique comprend un plan en commun avec Evidence Aid pour la mise en oeuvre de ce type deacutevaluation afin didentifier les doutes importants pouvant ecirctre abordeacutes par la recherche degraves les premiers stades dune urgence humanitaire associeacutee agrave une eacutepideacutemie
LIMPORTANCE DE LA REacutePEacuteTITION ET DE LA CORROBORATIONLe concept de lacunes dans les donneacutees probantes nous amegravene agrave un autre facteur agrave consideacuterer pour eacutevaluer la qualiteacute dune
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
41 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
synthegravese deacutetudes le nombre deacutetudes agrave inclure pour ecirctre confiant que les donneacutees sont suffisamment solides Est-ce que deux ou trois eacutetudes pourraient suffire si elles sont vraiment bonnes Ou bien est-ce quil en faut des douzaines ou mecircme des centaines La veacuteriteacute est quil ny a pas de nombre magique en la matiegravere Pourtant nous ne pouvons ignorer le fait que la quantiteacute de donneacutees est un facteur important la force reacuteside dans le nombre et la reacutepeacutetition et la corroboration sont neacutecessaires
Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees Amgen une socieacuteteacute pharmaceutique californienne a tenteacute de reproduire 53 eacutetudes deacutecisives sur le cancer Leurs reacutesultats publieacutes dans Nature84 ont confirmeacute seulement 11 des conclusions de ces eacutetudes marquantes Cest particuliegraverement preacuteoccupant car ces eacutetudes ont influenceacute des socieacuteteacutes pharmaceutiques et des traitements anticanceacutereux dans le monde entier et lincapaciteacute agrave les reproduire pourrait indiquer que leurs conclusions ne sont pas fiables Agrave linverse il nest pas neacutecessaire que ces eacutetudes soit reacutepeacuteteacutees encore et encore si les donneacutees sont deacutejagrave suffisamment robustes85 Les eacutetudes
inutiles sont un gaspillage des capaciteacutes de recherche86 voire dans le contexte dessais randomiseacutes contraires agrave leacutethique si des patients continuent de participer agrave des interventions sous-optimales
REVUE DES REVUES EacuteVALUER DES ENSEMBLES DE DONNEacuteES DE HAUTE QUALITEacuteIl reste encore agrave eacutevaluer la qualiteacute du modegravele et de la mise en oeuvre de lexamen des donneacutees or la qualiteacute dune synthegravese est deacutetermineacutee par la qualiteacute des eacutetudes incluses Mecircme la meilleure revue ne peut pas extraire une reacuteponse de bonne qualiteacute dune recherche mal effectueacutee
Il existe eacutegalement des outils officiels comme AMSTAR pour eacutevaluer la qualiteacute des revues systeacutematiques87 On peut aussi utiliser lune des premiegraveres checklists destineacutees agrave leacutevaluation de la qualiteacute des revues systeacutematiques78 qui posaient une seacuterie de questions
La question est-elle clairement poseacutee
La recherche deacutetudes pertinentes est-elle approfondie
Les critegraveres drsquoinclusion eacutetaient-ils pertinents
La validiteacute des eacutetudes utiliseacutees a-t-elle fait lrsquoobjet drsquoune eacutevaluation adeacutequate
A-t-on reacutecupeacutereacute deacuteventuelles informations manquantes aupregraves des chercheurs initiaux
Dans quelle mesure les reacutesultats obtenus sont-ils deacutependants de la maniegravere dont la revue est conduite
Les analyses de sous-groupes sont-elles interpreacuteteacutees avec preacutecaution
Les conclusions deacutecoulent-elles bien des donneacutees examineacutees
Les recommandations sont-elles lieacutees agrave la soliditeacute des donneacutees probantes
Les jugements sur les preacutefeacuterences (valeurs) sont-ils valides
Un Comment noter sur leacutevaluation de la force des preuves produites par le ministegravere britannique du Deacuteveloppement international eacutenumegravere quatre eacuteleacutements agrave prendre en compte lors de la veacuterification des eacuteleacutements de preuve 41
La qualiteacute (technique) des eacutetudes constituant le corpus de preuves (ou la mesure dans laquelle le risque de biais a eacuteteacute communiqueacute)
La taille de lensemble des preuves
Le contexte dans lequel la preuve est deacutefinie
La coheacuterence des reacutesultats produits par les eacutetudes constituant lensemble des preuves
RETOUR AU SOMMAIRE
SECTION C | QUELS EacuteLEacuteMENTS DEVRIEZ-VOUS CHOISIR
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 42
Pour trouver des donneacutees probantes dignes de confiance cherchez des eacutetudes examineacutees par les pairs Mais soyez conscient que lexamen par les pairs est loin decirctre parfait Il peut y avoir des biais inconscients comme le mimeacutetisme (ou comportement greacutegaire) par lequel le comportement des examinateurs est influenceacute par le comportement de leurs pairs
Lorsquil sagit deacutetudes dimpact et dexaminer laquo ce qui fonctionne raquo utilisez les cadres et standards officiels en matiegravere de donneacutees probantes comme ceux de Nesta ou autres
Une eacutetude nest jamais suffisante Eacutevitez de prendre des deacutecisions baseacutees sur des eacutetudes isoleacutees et cherchez plutocirct des eacutetudes qui ont eacuteteacute reproduites
plusieurs fois La force est dans le nombre la reacutepeacutetition et la corroboration sont neacutecessaires Mecircme les eacutetudes les plus reconnues doivent ecirctre reacutepeacuteteacutees mais il faut eacuteviter de continuer agrave reacutepeacuteter les eacutetudes lorsque lensemble des donneacutees probantes est deacutejagrave suffisamment robuste
Utilisez les revues systeacutematiques qui visent lexhaustiviteacute et filtrent les eacutetudes en fonction de leur qualiteacute ndash geacuteneacuteralement sur la base de leur modegravele et leurs meacutethodes
Si vous navez pas le temps de reacutealiser une revue systeacutematique et ne pouvez pas en trouver une existante qui reacuteponde agrave votre question envisagez de reacutealiser ou commander une eacutevaluation rapide des donneacutees probantes89
Messages cleacutes pour la partie 2 de la section C
Mecircme lexamen le mieux effectueacute ne peut transformer une recherche de faible qualiteacute en une reacuteponse de haute qualiteacute
Est-ce que labsence aveacutereacutee deffet est bien diffeacuterencieacutee du reacutesultat non significatif
Larbitrage de tous ces critegraveres sera toujours en partie subjectif et doit prendre en compte le contexte de la question poseacutee et de lintervention consideacutereacutee Il est difficile de donner des conseils dordre geacuteneacuteral sur ce qui peut constituer un ensemble de donneacutees suffisants agrave lapplication dune politique donneacutee
On commence eacutegalement agrave voir apparaicirctre des regroupements de conclusions provenant de multiples revues dans ce que lon appelle les laquo revues de revues raquo Bien sucircr elles ne sont possibles que lorsquil existe deacutejagrave un volume suffisant de revues systeacutematiques ndash et dans certains domaines il y en a peu Quoi quil en soit ces revues de revues fournissent une eacutevaluation et une synthegravese des preuves probantes issues de multiples revues systeacutematiques concernant soit la mecircme intervention soit des interventions diffeacuterentes dans le mecircme domaine88
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
43 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
RECHERCHE DE RECHERCHE PREUVESAvec laugmentation rapide du nombre de personnes et dorganisations qui travaillent aux examens systeacutematiques la documentation contient maintenant un nombre important et sans cesse croissant dexamens systeacutematiques de sorte que vous pourriez ecirctre en mesure den trouver un qui reacutepond agrave vos besoins On estime reacutecemment agrave plus de 200 000 le nombre dexamens systeacutematiques dans tous les domaines theacutematiques Bien sucircr seule une petite proportion de ces eacutetudes serait pertinente pour le secteur humanitaire mais (comme nous lindiquons ci-dessous) des ensembles de ces eacutetudes sont disponibles gratuitement dans des collections en ligne telles que celles conserveacutees par Evidence Aid Il existe eacutegalement de grandes organisations internationales telles que Cochrane (wwwcochraneorg) et Campbell Collaborations (wwwcampbellcollaborationorg) qui se consacrent agrave la preacuteparation et agrave la conservation des examens systeacutematiques et les mettent en ligne
Cependant si vous avez besoin de faire vos propres recherches pour eacutetudier les effets de laction humanitaire le point de deacutepart est de reconnaicirctre quelles ne sont pas toujours faciles agrave trouver et que vous pourriez avoir besoin de laide dun bibliotheacutecaire ou dun speacutecialiste en information qui sera chargeacute de vous conseiller et peut-ecirctre daider agrave concevoir et mener la recherche Les preuves sont eacuteparpilleacutees dans des dizaines de milliers de rapports reacutepartis dans des
milliers de revues de livres et de sites Web beaucoup dentre eux ne sont pas libres dutilisation ou sont difficiles agrave consulter Lorsque vous reacutefleacutechissez agrave lendroit ougrave effectuer une recherche il est important de tenir compte de lendroit ougrave les preuves qui vous inteacuteressent sont susceptibles davoir eacuteteacute publieacutees et indexeacutees et du degreacute dexhaustiviteacute que vous souhaitez atteindre Par exemple sils eacutetaient publieacutes dans une revue scientifique les articles pourraient ecirctre disponibles dans lune des milliers de bases de donneacutees bibliographiques eacutelectroniques Il sagit par exemple de PubMed pour les soins de santeacute LILACS pour les articles preacutesentant un inteacuterecirct particulier pour lAmeacuterique du Sud ou ERIC pour la litteacuterature eacuteducative Il peut eacutegalement ecirctre neacutecessaire didentifier la litteacuterature grise comme les rapports des gouvernements ou des ONG et les recherches preacutesenteacutees lors de confeacuterences qui neacutecessiteront des recherches dans des bases de donneacutees eacutelectroniques telles que Open Grey (wwwopengreyeu) et sur les sites Web des organisations qui pourraient avoir effectueacute des recherches pertinentes
Lors de la planification dune recherche il peut ecirctre utile de diviser les eacuteleacutements de recherche en types dintervention ou de politique qui vous inteacuteressent en population ou milieux pertinents en mesures des reacutesultats qui seraient les plus utiles agrave votre prise de deacutecision et en types deacutetudes que vous souhaitez trouver Vous pouvez ensuite deacutecider lequel ou lesquels de ces domaines est le plus important et le plus utile pour identifier le mateacuteriel le plus pertinent pour vous
Ougrave devriez-vous chercher des preuves Cette section examine diffeacuterents types de donneacutees probantes et examine comment choisir la plus approprieacutee agrave la question qui vous inteacuteresse Elle traite eacutegalement de la faccedilon de juger de la qualiteacute des donneacutees probantes
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 44
Vous devriez consideacuterer les types de sources agrave rechercher ce qui pourrait inclure
Bases de donneacutees bibliographiques (p ex PubMed LILACS ERIC)
Sites Web de revues et de confeacuterences (p ex ceux qui se concentrent particuliegraverement sur les catastrophes ou laction humanitaire)
Registres de recherche (tels que via le portail de lOMS pour les essais wwwresearchregistrycom et PROSPERO pour les revues systeacutematiques)
Collections en ligne de donneacutees de recherche (voir ci-dessous p ex ALNAP 3ie)
Site Web des organisations concerneacutees (par exemple pour les rapports des gouvernements et des ONG)
Reacutefeacuterences dans les articles
Correspondance avec les chercheurs et les eacutevaluateurs
SOURCES DEXAMENS SYSTEacuteMATIQUES ET DAUTRES RECHERCHES POUR LE SECTEUR HUMANITAIREEn raison de ces deacutefis dans la recherche de donneacutees probantes vous pourriez trouver plus efficace et plus facile dutiliser des deacutepocircts fiables de recherches et dexamens systeacutematiques plutocirct que de vous fier agrave des recherches aleacuteatoires sur lInternet Heureusement plusieurs organisations sefforcent maintenant de rassembler des preuves pertinentes dans des ressources en ligne Elles comprennent les eacuteleacutements suivants
Le Reacuteseau dapprentissage actif pour la responsabiliteacute et la performance (ALNAP) est heacutebergeacute par lOverseas Development Institute (ODI) agrave Londres Royaume-Uni avec un site Web contenant plus de 15 000 ressources y compris des publications ALNAP relatives aux preuves et des deacutetails sur plusieurs milliers deacutevaluations
Les bases de lEvidence Aid ont eacuteteacute eacutetablies au sein de Cochrane agrave la suite du tsunami de loceacutean Indien en 2004 lorsque le texte inteacutegral de plusieurs dizaines deacutetudes Cochrane relatives aux interventions en cas de catastrophe a eacuteteacute mis en ligne gratuitement Il a eacuteteacute creacuteeacute en tant quorganisation caritative en 2015 et a maintenant rassembleacute plusieurs centaines deacutetudes systeacutematiques qui sont toutes disponibles gratuitement sur son site Web (wwwevidenceaidorg) y compris mais sans sy limiter des collections speacuteciales deacutetudes concernant les tempecirctes de vent tremblements de terre Ebola la santeacute des reacutefugieacutes et demandeurs dasile les troubles post-traumatiques et la preacutevention de la malnutrition aigueuml durant les urgences et crises humanitaires
LInitiative internationale pour leacutevaluation de limpact (3ie) a eacuteteacute creacuteeacutee en 2008 et offre maintenant quatre bases de donneacutees consultables en ligne (www3ieimpactorg) Deux dentre elles la 3ie Database of Systematic Reviews et la Database of
Lorsque vous choisissez les termes agrave inclure dans votre recherche vous devriez consideacuterer
Synonymes de diffeacuterents temps et lieux
Dautres mots et expressions qui sont lieacutes agrave ce qui vous inteacuteresse
Une formulation plus large
Une formulation plus eacutetroite ou plus cibleacutee
Index des termes ou mots-cleacutes attribueacutes aux articles par les auteurs originaux ou la base de donneacutees bibliographiques
Enfin vous devez deacutecider si vous appliquerez des restrictions en fonction de la langue et de la peacuteriode au cours de laquelle la recherche a eacuteteacute effectueacutee ou publieacutee
RETOUR AU SOMMAIRE
SECTION D | OUgrave DEVRIEZ-VOUS CHERCHER DES PREUVES
45 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
Impact Evaluations cataloguent les preuves de lefficaciteacute des interventions dans le secteur humanitaire Ces bases de donneacutees comprennent eacutegalement des examens systeacutematiques et des eacutevaluations dimpact sur le cadre plus large du deacuteveloppement international dont beaucoup sont pertinents pour les interventions dans les situations durgence
Les preuves de la pertinence de la recherche pour le secteur humanitaire sont disperseacutees dans des dizaines de milliers de rapports reacutepartis dans des milliers de revues douvrages et de sites internet
La recherche de ces preuves peut neacutecessiter laide dun speacutecialiste de linformation et la conception de la recherche doit tenir compte de ce que lon cherche des sources agrave rechercher
des termes agrave utiliser dans la recherche et de toute restriction relative agrave la langue ou agrave la peacuteriode de temps
Les examens systeacutematiques fournissent des reacutesumeacutes et des synthegraveses des donneacutees de recherche
Plusieurs reacutepertoires de recherche en ligne sont disponibles ce qui ameacuteliore laccegraves aux examens systeacutematiques et agrave dautres types de donneacutees de recherche
Messages importants pour la section D
CONCLUSION
En conclusion de ce guide sur lutilisation des preuves dans le secteur humanitaire nous vous encourageons agrave tirer parti des reacutesumeacutes de recherche disponibles gratuitement accessibles et exploitables tels que les revues systeacutematiques contenues dans les sites internet que nous avons eacutenumeacutereacutes Cela vous aidera agrave passer rapidement aux sources de preuves qui devraient vous aider agrave eacuteclairer votre politique et votre pratique
Vous trouverez peut-ecirctre quil est plus efficace et plus facile dutiliser des recueils fiables de recherches et dexamens systeacutematiques
Nous tenons agrave jour une liste plus complegravete de ces types de ressources en ligne agrave wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector
La liste fournit un large eacuteventail de ressources de recherche en ligne dont beaucoup sont gratuites et faciles daccegraves Celles-ci devraient ecirctre utiles agrave tout deacutecideur politique ONG ou professionnel de premiegravere ligne dans le secteur humanitaire en fournissant un accegraves facile agrave des donneacutees fiables et de haute qualiteacute sur lefficaciteacute des interventions Si vous souhaitez suggeacuterer des ressources additionnelles pour cette liste veuillez contacter Evidence Aid infoevidenceaidorg
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 46
Notes en fin de document1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 3601824-30
2 OMS Programme alimentaire mondial Comiteacute permanent de la nutrition du systegraveme des Nations Unies et UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF New York UNICEF
3 Price AI Djulbegovic B (2017) What does evidence mean La plupart des langues traduisent laquo preuve raquo par laquo deacutemonstration raquo Journal of Evaluation in Clinical Practice 23(5)971-3
4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 31271 Voir wwwbmjcomcontent312702371
5 gtLa deacutefinition de la meacutedecine fondeacutee sur des donneacutees probantes est venue agrave un moment ougrave la plupart des deacutecisions meacutedicales eacutetaient fondeacutees sur lexpeacuterience lautoriteacute et lexcellence La pratique meacutedicale neacutetait pas fondeacutee sur les meilleures preuves scientifiques disponibles Certains commentateurs et chercheurs ont soutenu que la politique sociale est au mecircme endroit quil y a 20 ou 30 ans cest-agrave-dire que cest lautoriteacute plutocirct que les donneacutees de recherche qui domine la prise de deacutecision
6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 3902287-96 and Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (see wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)
7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf
8 wwwoxforddictionariescomdefinitionenglishevidence
9 Nutley S et al (2013) What Counts as Good Evidence Londres Royaume-Uni Alliance for Useful Evidence
10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners ALNAP Study London ALNAPODI Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf
11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions London UK HarperCollins
12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government London UK HM Treasury
13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Stockholm Suegravede Agence sueacutedoise de coopeacuteration dans le deacuteveloppement international
14 Zsambok CE Klein G (editors) (2014) Naturalistic decision making New York USA Psychology Press
15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64515-26 Voir wwwncbinlmnihgovpubmed19739881
16 These estimates come from Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) et Development Initiatives (2017) Global Humanitarian Assistance Report
17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming
18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
47 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Voir httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming
20 Voir wwwhumanitarianresponseinfoenprogramme-cyclespace
21 On trouvera dans Carr Z et al une discussion sur les deacutefis que posent la prise de deacutecisions agrave la suite des rares circonstances dune situation durgence majeure en matiegravere de rations alimentaires (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171144-55 et Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97
22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1
23 Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities (2017) traite de limportance de precircter attention agrave la faccedilon dont les donateurs recueillent utilisent et partagent les preuves et les informations Document de travail de lALNAP London ALNAPODI Voir httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf
24 Nesta (2013) Understand how innovation works Videacuteo disponible sur wwwnestaorgukresourcesunderstand-how-innovation-works
25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action HIFALNAP Study London ALNAPODI
26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 36265-71 Voir httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1
27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32303-30
28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi Inde International Initiative for Impact Evaluation page 4
29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi Inde International Initiative for Impact Evaluation
30 Nesta and TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Voir wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf
31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Royaume-Uni Big Lottery Fund Bond Comic Relief and the Department for International Development
32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632
33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Voir wwwnestaorgukblogsix-ws-formula-what-works
34 wwwebola-anthropologynetabout-the-network
35 Faye SL (2015) L laquoexceptionnaliteacuteraquo drsquoEbola et les laquoreacuteticencesraquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Voir httpsjournalsopeneditionorganthropologiesante1796
36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf
37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 597-31 doi101017asr201687
38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385330
39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57527-9
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 48
40 Une liste exhaustive et faisant autoriteacute des cadres et meacutethodes de recherche en sciences sociales est disponible dans Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences London UK ESRCNational Centre for Research Methods Voir le lien httpeprintsncrmacuk3721
41 Ministegravere du deacuteveloppement international (2014) How to Note Assessing the Strength of Evidence Voir wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf
42 Adapteacute de HM Treasury (treacutesorerie de Sa Majesteacute) DECC et DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences London UK HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions London UK Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 et Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector London UK Big Lottery Fund Bond Comic Relief and the Department for International Development tableau 2 page 18
43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012
44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1)30-49
45 Voir par exemple Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3)e1000251 Higgins JP et al (2011) The Cochrane Collaborations tool for assessing risk of bias in randomised trials BMJ 343d5928
46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance working paper 22 Delhi Inde International Initiative for Impact Evaluation Voir www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_methods_working_paper-toppdf
47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 111542-52
48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Impact Evaluation No 7 Florence Italy Unicef Voir wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf
49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC USA International Food Policy Research Institute (IFPRI) Voir wwwifpriorgpublicationimpact-progresa-health
50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2)256-76 doi101017S0003055416000745
51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483
52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145
53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Voir wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf
54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 8943-52 and Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 8953-66
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
49 | REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE
55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Geneva Switzerland World Food ProgramUNHCR
56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universiteacute de Birmingham Royaume-Uni Birmingham Governance and Social Development Resource Centre Voir wwwgsdrcorgdocsopenhdq872pdf
57 Westhorp G (2014) Realist Evaluation An Introduction Londres Royaume-Uni Methods Lab Overseas Development Institute Voir wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf
58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3)270-80
59 Pour lanalyse du reacuteseau et la traccedilabiliteacute des processus voir Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6)17-36
60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Voir wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf
61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations London UK Department for International Development
62 Par exemple voir le guide de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies New York USA Prentice Hall
63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2)218-28
64 Pour un examen systeacutematique des biais de publication voir Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1)MR000006 doi 10100214651858MR000006pub3
65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 3451502-5
66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Voir wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe
67 Voir par exemple le suppleacutement au Guide du Magenta HM Treasury DECC and DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Les lignes directrices montrent comment laquo des modegraveles de recherche de meilleure qualiteacute peuvent aider agrave relever le deacutefi dattribuer les reacutesultats mesureacutes agrave la politique en question (par opposition agrave dautres influences) alors que des modegraveles de moindre qualiteacute reacuteduisent la confiance dans le fait que cest la politique qui a obtenu ces reacutesultats raquo (page 5)
68 httpgradeworkinggrouporg69 Farrington RP et al The Maryland Scientific
Methods Scale In Farrington DP et al Evidence-based crime prevention London UK Routledge 2002 chapitre 2
70 Pour un modegravele dapproches diffeacuterentes en matiegravere de qualiteacute qui comprend les quatre dimensions de (1) la qualiteacute meacutethodologique (2) la qualiteacute des rapports (3) la pertinence et (4) la pertinence par rapport aux politiques et aux pratiques voir Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Voir wwwnaturecom news2011111101full479015ahtml
72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Working Paper 11 London UK ESRC UK Centre for Evidence Based Policy and Practice
73 La recherche qualitative explore et tente de comprendre les croyances les expeacuteriences les attitudes le comportement des personnes et leurs interactions Elle geacutenegravere des donneacutees non numeacuteriques qui peuvent ecirctre recueillies par le biais par exemple dentretiens approfondis de groupes de discussion danalyses documentaires et dobservations des participants
RETOUR AU SOMMAIRE
NOTES EN FIN DE DOCUMENT
REacuteSULTATS DE RECHERCHE POUR LE SECTEUR HUMANITAIRE | 50
74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence London UK Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford UK Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies London UK National Institute for Health and Clinical Excellence et OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51
75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13301
76 Voir par exemple la discussion sur limportance dutiliser les donneacutees existantes lors de la conception de nouvelles eacutetudes dans Clarke M (2004) Doing new research Dont forget the old nobody should do a trial without reviewing what is known PLoS Medicine 1 100-2 et lhistorique des examens systeacutematiques dans Chalmers I et al (2002) A brief history of research synthesis Evaluation and the Health Professions 25 12-37 et Clarke M (2016) History of evidence synthesis to assess treatment effects personal reflections on something that is very much alive JLL Bulletin Commentaries on the history of treatment evaluation Journal of the Royal Society of Medicine 109 154-63
77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 and Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82
78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51
79 Pour une critique de lapplication des synthegraveses de recherche aux politiques voir Pawson R (2001) Evidence Based Policy In Search of a Method Working Paper 3 London UK ESRC UK Centre for Evidence Based Policy and Practice
80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4
81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80
82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford UK Oxfam
83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 556 et Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224
84 Begley CG et al (2012) Drug development Raise standards for preclinical cancer research Nature 483 531-3
85 Un examen de la recherche comportant une ou plusieurs meacuteta-analyses cumulatives a reacuteveacuteleacute de nombreux exemples montrant que des reacutesultats stables (beacuteneacutefiques nocifs et neutres) auraient eacuteteacute obtenus si une meacuteta-analyse de la recherche existante avait eacuteteacute effectueacutee avant le deacutebut dun nouvel essai randomiseacute ce qui aurait permis de mettre en place des interventions efficaces plus tocirct Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670
86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65
87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 et Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358j4008
88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 1115
89 Voir par exemple Brennan RJ et al (2005) Rapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 et Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment second edition Lanham Maryland USA Rowman amp Littlefield
RETOUR AU SOMMAIRE
Karl Blanchet Directeur du centre de santeacute en situation de crise humanitaire Eacutecole dhygiegravene et de meacutedecine tropicale de Londres
KarlBlanchetlshtmacuk | criseslshtmacuk
Mike Clarke Directeur de recherche de lrsquoaide en matiegravere de preuves Centre de santeacute publique Queenrsquos University Belfast
mclarkequbacuk | wwwqubacuk
Photo de couverture copy Patrick BrownUNICEFPanos Pictures
La traduction de ces informations a eacuteteacute rendue possible gracircce aux geacuteneacutereux efforts des traducteurs travaillant avec Translators without Borders (TWB) une organisation beacuteneacutevole œuvrant pour un monde ougrave le savoir ne connait pas de barriegraveres de langue
Recommended