Thème : METHODES D’EVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam

  • Published on
    10-Jan-2016

  • View
    167

  • Download
    1

Embed Size (px)

DESCRIPTION

Cellule dAnalyse de Politiques Economiques du CIRES. ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET EVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVEES. Thme : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam. - PowerPoint PPT Presentation

Transcript

<ul><li><p>Thme : </p><p>METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT</p><p>9-10 septembre 2009, Grand-Bassam</p><p>Cellule dAnalyse de Politiques Economiques du CIRESDr. Alban A. E. AHOUREDr. Wautabouna OUATTARA</p><p>ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET EVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVEES*</p></li><li><p>Contexte et Justification</p><p>Raret des ressources nationales/ internationales affectes aux programmes de dveloppement.</p><p>Orienter celles-ci vers des projets ayant un impact rel sur les populations</p><p>DSRP/PPTE Gestion Par les Rsultats</p><p>Comment valuer les Rsultats / LImpact ?*Lecture 0: Contexte, Objectifs et Rsultats Attendus</p></li><li><p>Objectifs</p><p> Dveloppement des connaissances sur les mthodes dvaluation des programmes de Developpement </p><p> Favoriser la comprhension des mthodes dvaluation des projets de dveloppement par les participants.</p><p>Permettre aux participants de matriser les mthodes dvaluation apprises.</p><p> Permettre aux participants danalyser ces mthodes, de dgager celles applicables aux projets dans leur institution et de savoir les utiliser.**</p></li><li><p>Rsultats attendus</p><p>Les principes de base des Mthodes dvaluation des Programmes de Dveloppement sont matriss. Les processus dvaluation des programmes sont connus et matriss.</p><p>Les participants sont en mesure dvaluer les programmes de dveloppement dans leurs structures respectives partir mthodes apprises. **</p></li><li><p>LA PROBLEMATIQUE DE LEVALUATION DES POLITIQUES DE DEVELOPPEMENTLECTURE 1*</p></li><li><p>PLAN</p><p>I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel</p><p>II. CONTEXTE</p><p>III. LES DEUX APPROCHES METHODOLOGIQUES</p><p>IV. QUELQUES NOTIONS SUR LES METHODES</p><p>V. REVUE DE TRAVAUX EMPIRIQUES DANS LES PVD</p><p>*</p></li><li><p>I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel*</p></li><li><p>Demande croissante de preuves concernant les politiques de dveloppement mises en uvre:</p><p>Ces politiques ont-elles les effets attendus?</p><p>Les effets sont-ils significatifs?</p><p>Domaines trs varis: programme de bien-tre, programmes de formation, programmes de subvention des salaires, programme de nutrition, programmes dducation, etc.II. CONTEXTE*</p></li><li><p>A. REPONSES QUALITATIVES INSUFFISANTES</p><p> Etudes sur documents, revues, interviews, donnes secondaires, etc.</p><p> Etablir les infrences causales sur la base de processus (A B C).</p><p> Limites : Subjectivit dans la collecte des donnes, labsence de groupe de comparaison et absence de robustesse statistique. </p><p>*</p></li><li><p>B. QUESTIONS SOULEVEES </p><p>Quelle serait la situation des individus participant un programme en labsence du programme?</p><p>Quelle serait la situation des non exposs au programme sils en taient bnficiaires? Ces deux questions ont un point commun: labsence dun don dubiquit. En dautres termes, on ne peut une date t, participer et ne pas participer au programme.Si existence dinformations sur les situations o le mme individu la fois participe et ne participe pas un programme pas de problme pour lvaluation.</p><p> Besoin dun contrefactuel*</p></li><li><p>C. POURQUOI AVONS-NOUS BESOIN DUN CONTREFACTUEL ? </p><p>Changement dans le Rsultat = D au Projet + D aux Autres Facteurs (environnementaux, personnels) </p><p> Comparer les mmes individus avant et aprs le projet ne contrle pas pour les effets environnementaux. Impossibilit disoler les effets imputables des facteurs exognes au programme. </p><p> Comparer seulement des individus similaires mais non identiques au temps t ne contrle pas pour les diffrences personnelles</p><p> Contrefactuel: contrle la fois pour les facteurs environnementaux et personnels. </p><p>Toutes les valuations quantitatives dimpact se rsument en la construction dun groupe contrefactuel crdible. *</p></li><li><p>III. LES DEUX APPROCHES METHODOLOGIQUES</p><p>Les Mthodes Exprimentales : construisent le contrefactuel par assignation randomise dun groupe de participants au projet (le groupe de traitement) et dun groupe de non- participants (groupe tmoin).</p><p>Les Mthodes Non Exprimentales : obtiennent le contrefactuel par des techniques statistiques (Score de Propension et Appariement, Doubles Diffrences, Variables Instrumentales, Regression Discontinuity Design). </p><p> Diffrent dans la manire de construire le contrefactuel. *</p></li><li><p> Les exprimentations contrles</p><p>Elles ont dbut aux USA mais se sont tendues aux pays en dveloppement. </p><p>Pour valuer un projet: exprimentation contrle fonde sur le principe de lassignation alatoire un groupe de traitement et un groupe de contrle </p><p>Le groupe de contrle et le groupe de traitement sont en principe identiques. </p><p>Seule la diffrence de traitement expliquerait les volutions ultrieures des deux groupes.IV. QUELQUES NOTIONS SUR LES METHODES*</p></li><li><p>Lobjectif : Mettre en application un programme pour construire des conditions o les bnficiaires sont entirement comparables aux non bnficiaires.</p><p>Les mthodes exprimentales dvaluation</p><p>Les mthodes dexprimentation contrleProche de lapproche clinique. Repose sur la rgle de lassignation alatoire. Loterie, Phase-in, Encouragement</p><p>Les mthodes dexprimentation naturelleExploitent lassignation aux programmes grce un vnement naturel survenu indpendamment du chercheur.*</p></li><li><p>Porte et limites de lapproche exprimentale</p><p>Elle exerce un grand attrait: application transparente grande qualit du contrefactuel, principe simple: ncessite un petit chantillon. Intgre limplmentation lvaluation. </p><p>MAIS :</p><p>Les expriences contrles ne sappliquent pas tous les projets raisonsdordre thique, dordre pratique: politique exprimente souvent une chelle rduite; il est impossible alors dextrapoler.</p><p>La validit interne est fonction de la conception et de limplmentation: problmes dattrition (des individus disparaissent de lchantillon), spillover, contamination, biais de randomisation. *</p></li><li><p>B. Les valuations quasi exprimentales </p><p> Beaucoup de projets sont mis en uvre sans un dispositif explicite dvaluation dimpact. Malgr tout, on veut savoir sils ont bien fonctionn: quelle est lampleur de leur effet sur les bnficiaires.</p><p>Lapproche consiste construire un groupe tmoin dont les caractristiques sont aussi comparables que celles du groupe des bnficiaires de lintervention.</p><p>Comment construire le groupe contrefactuel? Mthodes: Score de Propension et Appariement, Doubles Diffrences, Variables Instrumentales, Regression Discontinuity Design. *</p></li><li><p>Les Mthodes dvaluation exprimentales </p><p>Les mthodes dites de Discontinuity Design, Tirent profit des discontinuits naturelles dans la rgle dassignation des individus au traitement. </p><p>Les mthodes dappariement (matching)Cherchent reproduire le groupe de traitement parmi les non bnficiaires afin de reconstituer les conditions dun cadre exprimental, et cela en sappuyant sur les variables observables. </p><p>Les mthodes de variables instrumentalesPlus proches de celles de lapproche structurelle. Reposent sur des restrictions dexclusion pour parvenir lidentification. Le choix des paramtres dintrt dpend de lenvironnement particulier dans lequel la politique est mise en uvre.</p><p>Les mthodes de fonction de contrleCes mthodes sont plus proches de celles de lconomtrie. Modlisent directement la rgle dassignation afin de contrler la slection dans les donnes dobservation. </p><p>*</p></li><li><p>Porte et Limites des Mthodes Non- Exprimentales </p><p> Pratiques applicables presque tous les types dintervention et peuvent quelque fois tre appliques de faon rtrospective. </p><p>MAIS</p><p> Peuvent entraner des biais ds la slection des chantillons (pas de contrle parfait) et/ou la spcification des modles. </p><p> Peuvent comprendre des donnes trs intensives ncessitant des calculs compliqus. *</p></li><li><p>V. Revue de travaux empiriques dans les PVD(1) La nature de lintervention. </p><p>-Transferts dargent aux mnages en contrepartie dobligations en matire dducation et de sant de leurs enfants: programme PROGRESA au Mexique, ou les travaux relatifs lAfrique du Sud (Aguiro, Carter et Woohard, 2007); </p><p> Programme de petit djeuner excut dans les coles rurales (Cueto et alii., 2000);</p><p>- Un paquet sanitaire offert sous la forme dun dparasitage intestinal (Miguel et Kremer, 2004); - Programmes de subvention dcoles pour la scolarisation des enfants (Behrman &amp; al., 2005). *</p></li><li><p>(2) Les populations cibles sont varies: exemple les enfants de moins dun an 14 ans en milieu rural ou les parents comme dans le cas des programmes de transfert dargent en Amrique latine ou en Afrique du Sud. </p><p>(3) Deux stratgies dchantillonnage: </p><p>La slection randomise des participants et non participants lorsquil sagit dune exprimentation contrle, </p><p>Lutilisation dautres mthodes pour construire des groupes de contrle lorsquon na pu en disposer avant le dmarrage du programme. </p><p>*</p></li><li><p>(4) La taille de lchantillon.</p><p> Elle est souvent faible dans les tudes exprimentales, mme dans les pays dvelopps, par exemple, moins de 150 individus, dans la plupart des tudes sur lducation prscolaire qui ont t menes aux Etats-Unis (Behrman, Cheng, Todd, 2005). </p><p>Cependant, des chantillons de grande taille sont parfois utiliss comme lont fait Chen, Mu et Ravaillion (2006) pour lvaluation dun programme de rduction de la pauvret dans le sud ouest de la Chine (plus de 2000 bnficiaires et non bnficiaires).</p><p>Behrman, Sengupta et Todd (2005), recourant des donnes du programme PROGRESA au Mexique, ont construit un chantillon de 30000 enfants pour tudier limpact, sur leurs performances scolaires, des transferts dargent dont leurs mnages ont bnfici.*</p></li><li><p>(5) La dure dexposition des bnficiaires au traitement. </p><p> Elle peut tre dun an (Miguel, Kremer, 2004; Behrman, Sengupta et Todd, 2005), dautres peuvent dpasser 10 ans (Chen, Mu et Ravaillion, 2006). </p><p>(6) les effets attendus: mme si le paquet de traitement est le mme (par exemple, repas chauds ou dparasitage), les tudes ne mettent pas toujours laccent sur.</p><p>(7) Les indicateurs de performance : une grande variabilit. Certains insistent sur les impacts relatifs au statut nutritionnel mesur par des indicateurs anthropomtriques (poids-ge, taille-ge, ou taille-poids), dautres sintressent ltat sanitaire (Huerta, 2006) ou lducation (Newman et al., 1994). </p><p>*</p></li><li><p> (8) Leffet moyen du traitement ou son effet marginal?. </p><p>Effet Moyen: la valeur de la variable dimpact du groupe de traitement est compare celle du groupe de comparaison. </p><p>Effet marginale: leffet marginal du traitement est mesur, soit par la diffrence entre les effets moyens estims deux dates diffrentes, soit en comparant les valeurs prises par la variable dimpact pour des groupes de participants qui diffrent par leur dure dexposition au traitement. </p><p>*</p></li><li><p>(9) Les mthodes utilises: Les diffrences dans les stratgies dchantillonnage et les types deffets mesurer une grande diversit :</p><p>Certains travaux comparent les effets du groupe de traitement ceux dun groupe de contrle en recourant des techniques du traitement binaire comme les doubles diffrences ou les modles de choix discret (Essama, 2006; Maluccio, Flores, 2005)</p><p>Dautres recourent des mthodes qui permettent de se passer de lexistence dun groupe de contrle et se concentrent sur le groupe de traitement (Imbens, 2004; Aguiro, Carter et Woohard, 2007).*</p></li><li><p>(10) Quelques RsultatsLa plupart des travaux reportent des effets positifs des programmes sur la nutrition et le statut sanitaire. </p><p>Miguel et Kremer (2004) ont valu un projet knyan dans lequel un traitement de dparasitage de masse a t appliqu, par phases, des lves dcoles choisies de manire randomise. </p><p>Le programme a enregistr une rduction de labsentisme dun quart et stimul la participation. </p><p>QUEST-CE QUE LA RANDOMISATION?</p><p>QUELLES EN SONT LES PRINCIPES?</p><p>POURQUOI CETTE METHODE CONNAIT-T-ELLE UN GRAND INTERET AUPRES DES ECONOMISTES DU DEVELOPPEMENT, AUJOURDHUI? *</p></li><li><p>Je Vous Remercie Pour Votre Attention*</p></li><li><p>ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET VALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVES</p><p>Lecture 2 : </p><p> LA RANDOMISATION</p><p>Dr. Wautabouna OUATTARA</p><p>9 septembre 2009, Grand-Bassam</p><p>Cellule dAnalyse de Politiques Economiques du CIRES*</p></li><li><p>REFERENCESDuflo, Esther, Rachel Glennerster, Michael Kremer (2008), Using randomization in development economics research: a toolkit, In Handbook of Development Economics, Volume 4, ed. T. Paul Schultz and John Strauss, 38953962. Amsterdam and Oxford: Elsevier, North-Holland.</p><p>Imbens, Guido and Jeffrey Wooldridge (2009), Recent developments in the econometrics of program evaluations, JEL, 47(1), 5-86.</p><p>Abadie, Alberto (2005), Semiparametric Difference-in-differences estimators, Review of Economic Studies 72(1), 1-19.**</p></li><li><p>PLAN DE LA LECTUREI/ GENERALITES SUR LA RANDOMISATION</p><p>2/ INTERET DU RECOURS A LA RANDOMISATION</p><p>3/ FORMALISATION DE LA RANDOMISATION</p><p>4/ DIFFERENTES FORMES DE LA RANDOMISATION</p><p>5/ EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES</p><p>6/ CONCLUSION **</p></li><li><p>Depuis la fin des annes 90, certains conomistes du dveloppement (notamment Michael Kremer, Esther Duflo, Abhijit Barnerjee) ont dvelopp des outils pour apprhender les faits des politiques conomiques. </p><p>Ils ont propuls la thorie de la randomisation (valuation alatoire) et insistent sur les micro-projets comme stratgie de dveloppement efficace quand on s'y prend rationnellement.1. GENERALITES SUR LA RANDOMISATION**</p></li><li><p>Shanta Devarajan : La randomisation (ou application par rpartition alatoire) des programmes daide est actuellement considre comme la rgle dor permettant dvaluer limpact de chaque projet et de trouver les schmas dintervention les plus efficaces possible. </p><p>Esther Duflo: La randomisation est une mthode qui est utilise pour essayer dvaluer limpact dun programme ou dun projet dans des domaines tels que lducation, la sant, la corruption, le crdit, etc., .</p><p>Le principe gnral: sapprocher au mieux de la mthode de lessai clinique. On compare des gens qui ont bnfici dun traitement et des gens qui nen ont pas bnfici. Cela suppose que les personnes dans lchantillon dtude ont des similitudes). **</p></li><li><p>Lobjectif de lexprience randomise </p><p> Travailler avec les partenaires de terrain (ONG, Gouvernements locaux, Compagnies prives etc.) qui veulent mettre en application un programme pour construire des conditions o ceux qui bnficient du programme soient entirement comparables ceux qui nen bnficient pas dans un premier temps.</p><p>Exemple: Si un gouvernement a de quoi financer la construction de 100 coles, on va choisir 200 villages au lieu de choisir les 100 quil aurait choisi de toute faon. Et aprs, on collecte des donnes sur les 200 depuis le dbut, ce qui permet de comparer par exemple la scolarisation des enfants sur les deux types de villages. Puis, en gnral, quand lexprience est termine, on construit des coles partout.**</p></li><li><p> LES RELATIONS DE CAUSALITE </p><p>1. Relation de causalit de nature dterministe</p><p>En gnral, on parle dune relation de causalit de nature dterministe lorsque la prsence de la cause implique leffet et rciproquement, si on observe leffet, la cause est prsente au dpart.</p><p>Exemple : En supposant quune seule variable soit suffisante pour causer un phnomne, alors lobservation de cette caractristique implique ncessairement le phnomne. Dautre part si on observe le phnomne chez un individu, alors celui-ci possde la caractristique. Le lien entre la variable explicative et le phnomne apparat comme un lien de causalit de nature dterministe. </p><p> **</p></li><li><p>2. Relation de causalit de nature probabiliste</p><p>Si la...</p></li></ul>

Recommended

View more >