Thème : METHODES D’EVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam

Thme :

METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT

9-10 septembre 2009, Grand-Bassam

Cellule dAnalyse de Politiques Economiques du CIRESDr. Alban A. E. AHOUREDr. Wautabouna OUATTARA

ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET EVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVEES*

Contexte et Justification

Raret des ressources nationales/ internationales affectes aux programmes de dveloppement.

Orienter celles-ci vers des projets ayant un impact rel sur les populations

DSRP/PPTE Gestion Par les Rsultats

Comment valuer les Rsultats / LImpact ?*Lecture 0: Contexte, Objectifs et Rsultats Attendus

Objectifs

Dveloppement des connaissances sur les mthodes dvaluation des programmes de Developpement

Favoriser la comprhension des mthodes dvaluation des projets de dveloppement par les participants.

Permettre aux participants de matriser les mthodes dvaluation apprises.

Permettre aux participants danalyser ces mthodes, de dgager celles applicables aux projets dans leur institution et de savoir les utiliser.**

Rsultats attendus

Les principes de base des Mthodes dvaluation des Programmes de Dveloppement sont matriss. Les processus dvaluation des programmes sont connus et matriss.

Les participants sont en mesure dvaluer les programmes de dveloppement dans leurs structures respectives partir mthodes apprises. **

LA PROBLEMATIQUE DE LEVALUATION DES POLITIQUES DE DEVELOPPEMENTLECTURE 1*

PLAN

I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel

II. CONTEXTE

III. LES DEUX APPROCHES METHODOLOGIQUES

IV. QUELQUES NOTIONS SUR LES METHODES

V. REVUE DE TRAVAUX EMPIRIQUES DANS LES PVD

*

I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel*

Demande croissante de preuves concernant les politiques de dveloppement mises en uvre:

Ces politiques ont-elles les effets attendus?

Les effets sont-ils significatifs?

Domaines trs varis: programme de bien-tre, programmes de formation, programmes de subvention des salaires, programme de nutrition, programmes dducation, etc.II. CONTEXTE*

A. REPONSES QUALITATIVES INSUFFISANTES

Etudes sur documents, revues, interviews, donnes secondaires, etc.

Etablir les infrences causales sur la base de processus (A B C).

Limites : Subjectivit dans la collecte des donnes, labsence de groupe de comparaison et absence de robustesse statistique.

*

B. QUESTIONS SOULEVEES

Quelle serait la situation des individus participant un programme en labsence du programme?

Quelle serait la situation des non exposs au programme sils en taient bnficiaires? Ces deux questions ont un point commun: labsence dun don dubiquit. En dautres termes, on ne peut une date t, participer et ne pas participer au programme.Si existence dinformations sur les situations o le mme individu la fois participe et ne participe pas un programme pas de problme pour lvaluation.

Besoin dun contrefactuel*

C. POURQUOI AVONS-NOUS BESOIN DUN CONTREFACTUEL ?

Changement dans le Rsultat = D au Projet + D aux Autres Facteurs (environnementaux, personnels)

Comparer les mmes individus avant et aprs le projet ne contrle pas pour les effets environnementaux. Impossibilit disoler les effets imputables des facteurs exognes au programme.

Comparer seulement des individus similaires mais non identiques au temps t ne contrle pas pour les diffrences personnelles

Contrefactuel: contrle la fois pour les facteurs environnementaux et personnels.

Toutes les valuations quantitatives dimpact se rsument en la construction dun groupe contrefactuel crdible. *

III. LES DEUX APPROCHES METHODOLOGIQUES

Les Mthodes Exprimentales : construisent le contrefactuel par assignation randomise dun groupe de participants au projet (le groupe de traitement) et dun groupe de non- participants (groupe tmoin).

Les Mthodes Non Exprimentales : obtiennent le contrefactuel par des techniques statistiques (Score de Propension et Appariement, Doubles Diffrences, Variables Instrumentales, Regression Discontinuity Design).

Diffrent dans la manire de construire le contrefactuel. *

Les exprimentations contrles

Elles ont dbut aux USA mais se sont tendues aux pays en dveloppement.

Pour valuer un projet: exprimentation contrle fonde sur le principe de lassignation alatoire un groupe de traitement et un groupe de contrle

Le groupe de contrle et le groupe de traitement sont en principe identiques.

Seule la diffrence de traitement expliquerait les volutions ultrieures des deux groupes.IV. QUELQUES NOTIONS SUR LES METHODES*

Lobjectif : Mettre en application un programme pour construire des conditions o les bnficiaires sont entirement comparables aux non bnficiaires.

Les mthodes exprimentales dvaluation

Les mthodes dexprimentation contrleProche de lapproche clinique. Repose sur la rgle de lassignation alatoire. Loterie, Phase-in, Encouragement

Les mthodes dexprimentation naturelleExploitent lassignation aux programmes grce un vnement naturel survenu indpendamment du chercheur.*

Porte et limites de lapproche exprimentale

Elle exerce un grand attrait: application transparente grande qualit du contrefactuel, principe simple: ncessite un petit chantillon. Intgre limplmentation lvaluation.

MAIS :

Les expriences contrles ne sappliquent pas tous les projets raisonsdordre thique, dordre pratique: politique exprimente souvent une chelle rduite; il est impossible alors dextrapoler.

La validit interne est fonction de la conception et de limplmentation: problmes dattrition (des individus disparaissent de lchantillon), spillover, contamination, biais de randomisation. *

B. Les valuations quasi exprimentales

Beaucoup de projets sont mis en uvre sans un dispositif explicite dvaluation dimpact. Malgr tout, on veut savoir sils ont bien fonctionn: quelle est lampleur de leur effet sur les bnficiaires.

Lapproche consiste construire un groupe tmoin dont les caractristiques sont aussi comparables que celles du groupe des bnficiaires de lintervention.

Comment construire le groupe contrefactuel? Mthodes: Score de Propension et Appariement, Doubles Diffrences, Variables Instrumentales, Regression Discontinuity Design. *

Les Mthodes dvaluation exprimentales

Les mthodes dites de Discontinuity Design, Tirent profit des discontinuits naturelles dans la rgle dassignation des individus au traitement.

Les mthodes dappariement (matching)Cherchent reproduire le groupe de traitement parmi les non bnficiaires afin de reconstituer les conditions dun cadre exprimental, et cela en sappuyant sur les variables observables.

Les mthodes de variables instrumentalesPlus proches de celles de lapproche structurelle. Reposent sur des restrictions dexclusion pour parvenir lidentification. Le choix des paramtres dintrt dpend de lenvironnement particulier dans lequel la politique est mise en uvre.

Les mthodes de fonction de contrleCes mthodes sont plus proches de celles de lconomtrie. Modlisent directement la rgle dassignation afin de contrler la slection dans les donnes dobservation.

*

Porte et Limites des Mthodes Non- Exprimentales

Pratiques applicables presque tous les types dintervention et peuvent quelque fois tre appliques de faon rtrospective.

MAIS

Peuvent entraner des biais ds la slection des chantillons (pas de contrle parfait) et/ou la spcification des modles.

Peuvent comprendre des donnes trs intensives ncessitant des calculs compliqus. *

V. Revue de travaux empiriques dans les PVD(1) La nature de lintervention.

-Transferts dargent aux mnages en contrepartie dobligations en matire dducation et de sant de leurs enfants: programme PROGRESA au Mexique, ou les travaux relatifs lAfrique du Sud (Aguiro, Carter et Woohard, 2007);

Programme de petit djeuner excut dans les coles rurales (Cueto et alii., 2000);

- Un paquet sanitaire offert sous la forme dun dparasitage intestinal (Miguel et Kremer, 2004); - Programmes de subvention dcoles pour la scolarisation des enfants (Behrman & al., 2005). *

(2) Les populations cibles sont varies: exemple les enfants de moins dun an 14 ans en milieu rural ou les parents comme dans le cas des programmes de transfert dargent en Amrique latine ou en Afrique du Sud.

(3) Deux stratgies dchantillonnage:

La slection randomise des participants et non participants lorsquil sagit dune exprimentation contrle,

Lutilisation dautres mthodes pour construire des groupes de contrle lorsquon na pu en disposer avant le dmarrage du programme.

*

(4) La taille de lchantillon.

Elle est souvent faible dans les tudes exprimentales, mme dans les pays dvelopps, par exemple, moins de 150 individus, dans la plupart des tudes sur lducation prscolaire qui ont t menes aux Etats-Unis (Behrman, Cheng, Todd, 2005).

Cependant, des chantillons de grande taille sont parfois utiliss comme lont fait Chen, Mu et Ravaillion (2006) pour lvaluation dun programme de rduction de la pauvret dans le sud ouest de la Chine (plus de 2000 bnficiaires et non bnficiaires).

Behrman, Sengupta et Todd (2005), recourant des donnes du programme PROGRESA au Mexique, ont construit un chantillon de 30000 enfants pour tudier limpact, sur leurs performances scolaires, des transferts dargent dont leurs mnages ont bnfici.*

(5) La dure dexposition des bnficiaires au traitement.

Elle peut tre dun an (Miguel, Kremer, 2004; Behrman, Sengupta et Todd, 2005), dautres peuvent dpasser 10 ans (Chen, Mu et Ravaillion, 2006).

(6) les effets attendus: mme si le paquet de traitement est le mme (par exemple, repas chauds ou dparasitage), les tudes ne mettent pas toujours laccent sur.

(7) Les indicateurs de performance : une grande variabilit. Certains insistent sur les impacts relatifs au statut nutritionnel mesur par des indicateurs anthropomtriques (poids-ge, taille-ge, ou taille-poids), dautres sintressent ltat sanitaire (Huerta, 2006) ou lducation (Newman et al., 1994).

*

(8) Leffet moyen du traitement ou son effet marginal?.

Effet Moyen: la valeur de la variable dimpact du groupe de traitement est compare celle du groupe de comparaison.

Effet marginale: leffet marginal du traitement est mesur, soit par la diffrence entre les effets moyens estims deux dates diffrentes, soit en comparant les valeurs prises par la variable dimpact pour des groupes de participants qui diffrent par leur dure dexposition au traitement.

*

(9) Les mthodes utilises: Les diffrences dans les stratgies dchantillonnage et les types deffets mesurer une grande diversit :

Certains travaux comparent les effets du groupe de traitement ceux dun groupe de contrle en recourant des techniques du traitement binaire comme les doubles diffrences ou les modles de choix discret (Essama, 2006; Maluccio, Flores, 2005)

Dautres recourent des mthodes qui permettent de se passer de lexistence dun groupe de contrle et se concentrent sur le groupe de traitement (Imbens, 2004; Aguiro, Carter et Woohard, 2007).*

(10) Quelques RsultatsLa plupart des travaux reportent des effets positifs des programmes sur la nutrition et le statut sanitaire.

Miguel et Kremer (2004) ont valu un projet knyan dans lequel un traitement de dparasitage de masse a t appliqu, par phases, des lves dcoles choisies de manire randomise.

Le programme a enregistr une rduction de labsentisme dun quart et stimul la participation.

QUEST-CE QUE LA RANDOMISATION?

QUELLES EN SONT LES PRINCIPES?

POURQUOI CETTE METHODE CONNAIT-T-ELLE UN GRAND INTERET AUPRES DES ECONOMISTES DU DEVELOPPEMENT, AUJOURDHUI? *

Je Vous Remercie Pour Votre Attention*

ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET VALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVES

Lecture 2 :

LA RANDOMISATION

Dr. Wautabouna OUATTARA

9 septembre 2009, Grand-Bassam

Cellule dAnalyse de Politiques Economiques du CIRES*

REFERENCESDuflo, Esther, Rachel Glennerster, Michael Kremer (2008), Using randomization in development economics research: a toolkit, In Handbook of Development Economics, Volume 4, ed. T. Paul Schultz and John Strauss, 38953962. Amsterdam and Oxford: Elsevier, North-Holland.

Imbens, Guido and Jeffrey Wooldridge (2009), Recent developments in the econometrics of program evaluations, JEL, 47(1), 5-86.

Abadie, Alberto (2005), Semiparametric Difference-in-differences estimators, Review of Economic Studies 72(1), 1-19.**

PLAN DE LA LECTUREI/ GENERALITES SUR LA RANDOMISATION

2/ INTERET DU RECOURS A LA RANDOMISATION

3/ FORMALISATION DE LA RANDOMISATION

4/ DIFFERENTES FORMES DE LA RANDOMISATION

5/ EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES

6/ CONCLUSION **

Depuis la fin des annes 90, certains conomistes du dveloppement (notamment Michael Kremer, Esther Duflo, Abhijit Barnerjee) ont dvelopp des outils pour apprhender les faits des politiques conomiques.

Ils ont propuls la thorie de la randomisation (valuation alatoire) et insistent sur les micro-projets comme stratgie de dveloppement efficace quand on s'y prend rationnellement.1. GENERALITES SUR LA RANDOMISATION**

Shanta Devarajan : La randomisation (ou application par rpartition alatoire) des programmes daide est actuellement considre comme la rgle dor permettant dvaluer limpact de chaque projet et de trouver les schmas dintervention les plus efficaces possible.

Esther Duflo: La randomisation est une mthode qui est utilise pour essayer dvaluer limpact dun programme ou dun projet dans des domaines tels que lducation, la sant, la corruption, le crdit, etc., .

Le principe gnral: sapprocher au mieux de la mthode de lessai clinique. On compare des gens qui ont bnfici dun traitement et des gens qui nen ont pas bnfici. Cela suppose que les personnes dans lchantillon dtude ont des similitudes). **

Lobjectif de lexprience randomise

Travailler avec les partenaires de terrain (ONG, Gouvernements locaux, Compagnies prives etc.) qui veulent mettre en application un programme pour construire des conditions o ceux qui bnficient du programme soient entirement comparables ceux qui nen bnficient pas dans un premier temps.

Exemple: Si un gouvernement a de quoi financer la construction de 100 coles, on va choisir 200 villages au lieu de choisir les 100 quil aurait choisi de toute faon. Et aprs, on collecte des donnes sur les 200 depuis le dbut, ce qui permet de comparer par exemple la scolarisation des enfants sur les deux types de villages. Puis, en gnral, quand lexprience est termine, on construit des coles partout.**

LES RELATIONS DE CAUSALITE

1. Relation de causalit de nature dterministe

En gnral, on parle dune relation de causalit de nature dterministe lorsque la prsence de la cause implique leffet et rciproquement, si on observe leffet, la cause est prsente au dpart.

Exemple : En supposant quune seule variable soit suffisante pour causer un phnomne, alors lobservation de cette caractristique implique ncessairement le phnomne. Dautre part si on observe le phnomne chez un individu, alors celui-ci possde la caractristique. Le lien entre la variable explicative et le phnomne apparat comme un lien de causalit de nature dterministe.

**

2. Relation de causalit de nature probabiliste

Si la cause est prsente, leffet suit avec une certaine probabilit. Rciproquement si on observe leffet, la cause est prsente au dpart avec une certaine probabilit.

Exemple. Le fait de recevoir une subvention pour un mnage, nentrane pas ncessairement la scolarisation des enfants en ge daller lcole. Un mnage nayant pas reu la subvention, par ailleurs, peut scolariser ses enfants.

La liaison entre le facteur et son effet est souvent exprime par des mesures statistiques dassociation, comme la diffrence de probabilit de scolariser les enfants entre deux mnages ou lcart moyen entre les mesures dune certaine variable dans les deux groupes.

**

Toutefois, ces mesures nindiquent pas ncessairement une relation de cause effet. Elles peuvent seulement tmoigner dune relation statistique.

Avant quune association observe entre une politique (ou un traitement) et un rsultat ne soit dclare causale, certaines prcautions doivent tre prises pour tablir un tel jugement.

En particulier, il faut sassurer que les groupes soient comparables par rapport toute caractristique des sujets (ge, genre, etc.) qui peut influencer lassociation. Seul le traitement doit faire la diffrence.**

Objet: Relation causale des traitementsTraitement: programme de bien-tre, programmes de formation, transferts, dons, programme de nutrition, programmes dducation, etc.

Traits vs Non Traits (groupe de contrle)

Expriences randomises avec assignation alatoire (indpendante des rsultats et des variables) vs mthode post-valuation partir de donnes observationnelles. 2. INTERET DU RECOURS A LA RANDOMISATION **

Problmes de linfrence causaleComparer le mme individu dans deux situations diffrentes tandis quune seule est observable.

Au cours du temps, les autres facteurs peuvent changer.

Recourir un groupe de comparaison, mais il peut exister des diffrences initiales (biais de slection ou programme administr un groupe particulier).

La randomisation permet de corriger le biais de slection. Dautres mthodes non exprimentales: contrler les observables, Regression Discontinuity Design, Doubles-Diffrences, Effets Fixes.

Pas de consensus sur la mthode la plus robuste. **

: le rsultat pour un individu i trait (exemple: recevoir des livres lcole)

: le rsultat pour l individu i sans traitement

: rsultat moyen du traitement sur les individus traits

: rsultat moyen de labsence de traitement sur les individus non-traits (le groupe de comparaison).

3. FORMALISATION DE LA RANDOMISATION **

Effet du Traitement et Biais de Slection

E[YiT-YiC|T]= Effet Moyen du Traitement sur les Traits Cest la diffrence entre le rsultat rel des traits et le rsultat potentiel des non-traits si le traitement a lieu.

E[YiC|T]- E[YiC|C]= Biais de Slection, la diffrence dans les rsultats potentiels des non-traits sils avaient t traits et leurs rsultats rels (en tant que groupe de comparaison).

Problme: E[YiC|T] (rsultat moyen du traitement sur les individus non-traits) nest pas observable.

Do la ncessit de construire un factuel (groupe dindividus similaires qui ne reoit pas le traitement. **

Que Mesure lEffet Total ou lEffet Partiel ?Les rsultats des valuations randomises donnent une forme rduite des impacts du traitement, c--d les effets totaux.

Nous pouvons tre intresss par des effets partiels (ceteris paribus). Pour cela, nous avons besoin dun modle structurelle qui explique les diffrences entre les effets totaux et les effets partiels. Exemple : Si un enfant reoit les livres scolaires, les parents peuvent accrotre ou dcrotre loffre domestique dinputs ducationnels. Ce qui accrot ou dcrot leffet partiel du programme de dons de livres. **

1. Mthode de loterie.

Exemple : Crdit de consommation largi en Afrique du Sud. Approbation alatoire des demandes de prts. Trois groupes: approbation totale, approbation partielle et rejet total. Cela nest valable que pour un groupe marginal.

2. Randomisation ordonne ou phase-in

Exemple : Programme de dparasitage intestinal dans des coles au Kenya. 75 premires coles ont t slectionnes de faon alatoire en 1998-2002. 25 coles slectionnes commencent le programme en 1998 et sont compares au 50 autres.Un autre groupe de 25 coles commencent le programme en 1999. Ainsi, les 50 coles qui reoivent le traitement sont compares aux 25 dernires en 1999. Les 25 dernires coles reoivent le traitement en 2000.Cette mthode se focalise sur les effets de court terme. Si le phase-in est trs rapide, les effets peuvent ne pas avoir le temps ncessaire pour leur maturit. Problme lie au traitement futur escompte, attendu par les groupes. 4. LES DIFFERENTES FORMES DE RANDOMISATION**

3. La randomisation within-group

Exemple : Programme de tutorat (balsakhi) dans les coles des zones urbaines pauvres en Inde. Un (1) balsakhi est assign de faon alatoire aux classes dans chaque cole.

Problme: contamination des coles de comparaison. (les directeurs font une rallocation des ressources dans les classes des Balsakhi)

4. Les plans dencouragement

Exemple : les agriculteurs sont invits de faon alatoire participer des formations sur lutilisation des engrais au Kenya.

Cela accrot la probabilit du traitement**

5. EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES **

EXEMPLE ILLUSTRATIFLe gouvernement souhaite subventionner les lyces de plus de 500 lves.

Lobjectif est dapprcier les effets de cette subvention sur les rsultats scolaires afin de gnraliser le projet tous les tablissements du pays, terme.

On considre une Ville Pilote regroupant 50 lyces supposs identiques.

25 lyces (Groupe B des traits) reoivent la subvention la date (t).

25 lyces (Groupe A de contrle) ne sont pas sont lexprimentation la mme date (t).

**

EXEMPLE ILLUSTRATIFLa variable dintrt est le Rsultat Scolaire (RS).Avec: : output moyen du groupe des traits la date 1. : output moyen du groupe des traits la date 2. : output moyen du groupe de contrle la date 1. : output moyen du groupe de contrle la date 2.

Problme 1: Si on considre les traits uniquement : ne suffit pas capter leffet de la politique.

Problme 2: Si on considre la priode post traitement uniquement : ne suffit pas capter leffet de la politique.Une des solutions rside dans lapproche de la double diffrence qui conduit des estimateurs sans biais.**

CONCLUSIONLes conclusions tires dun test de randomisation sont strictement valables seulement pour les sujets utiliss dans lexprience (validation interne).

Ces conclusions peuvent tre infres une population mre si les sujets sont un chantillon alatoire de la population mre. Malheureusement, ceci est souvent impossible en pratique.

**

Sans randomisation, il nest pas possible dassurer la comparabilit des groupes. Dans les tudes dobservations, pour passer de lassociation statistique la causalit, le chercheur doit faire appel un certain nombre de critres auxilliaires. Voici les plus connus:

Constance de lassociation observe. Des tudes conduites en des moments et des lieux diffrents surt dautres populations produisant des rsultats semblables accrditent lhypothse de causalit.

Intensit de lassociation. Laction des biais sur lassociation se fait vraisemblablement moins sentir lorsque lintensit ou la force de lassociation est grande. En ce sens, une plus forte intensit favorise le jugement de causalit.

**

Le chercheur doit aussi faire appel dautres critres auxilliaires tels que :

Spcificit de lassociation. Plus un facteur est exclusif, plus linterprtation causale est plausible.

Cohrence chronologique. La cause doit prcder leffet.

Prsence dune relation dose-effet. Leffet augmente lorsque la dose augmente.

Cohrence avec les connaissances.

**

Modlisation Structurelle des Equations de SlectionDr. Alban A. E. AHOURELECTURE 3*

PLAN

I. MOTIVATION

II. FORMALISATION

III. ESTIMATION

IV. APPLICATIONS*

I. MOTIVATION1.1. Echantillon alatoire

Lors de linfrence classique:

on tire un chantillon alatoire de la population dintrt

(2) on spcie une relation entre les variables expliquer et les variables explicatives

(3) on estime les paramtres dintrt (e.g. effets marginaux, lasticit)

(4) on prdit les variables dintrt pour des valeurs des variables explicatives, sachant les paramtres estims

*

Exemple: Equation de salaires: Supposons quon soit intress par lestimation de lquation de salaire de gens en ge de travailler (dans un pays quelconque). La population en question comprend tous les gens en ge de travailler, non seulement ceux qui travaillent mais aussi ceux qui ne travaillent pas.*

1.2. Echantillon non-alatoire ou choisi (selected)

Le terme anglais selected sample quon peut traduire par chantillon choisi dcrit un chantillon non-alatoire qui peut ltre pour plusieurs raisons:

chantillonnage strati

(2) non-rponse ou attrition

De nombreux mcanismes de slection donnent lieu des chantillons non-alatoires*

Exemple: Equation de salaires: Dans la pratique, on observe le salaire de ceux qui travaillent (ils ont au pralable pris la dcision de travailler). On ne peut pas inclure dans lestimation les observations de ceux qui ne travaillent pas.

Ainsi, se limiter au sous-chantillon de ceux qui travaillent pour prdire le salaire de la population des gens en ge de travailler induit ce quon appelle un biais de slection.

Si on sintresse la population de gens qui travaillent, on peut estimer de faon standard lquation de salaire dans un cadre dit conditionnel.*

*

1.3. Quelques Dnitions

Soit y une variable dpendante (par ex. le salaire),

et

deux variables explicatives (le niveau dtude et le genre).

Troncature

Si pour un niveau de salaire y en dessous dun certain seuil s on nobserve ni y, ni

, ni

Si pour un niveau dtude

en dessous dun certain seuil

, on nobserve ni y, ni

, ni

Troncature partielle

Si pour les gens qui ont pris la dcision de ne pas travailler, on nobserve pas y, on nobserve pas

mais on observe

Si pour les gens qui ont pris la dcision de ne pas travailler, on nobserve pas y, on nobserve pas

mais on observe

_1313819892.unknown

_1313819926.unknown

_1313819936.unknown

_1313819772.unknown

*

Censure

Si pour les gens qui ont pris la dcision de ne pas travailler, on nobserve pas y (le salaire) mais on observe

et

Solution en coin

Si pour les gens qui ont pris la dcision de ne pas travailler, on observe y = 0 et on observe

et

:

Dans la pratique, les termes censure et solution en coin sont souvent confondus.

Le premier se rapporte lobservabilit de y, tandis que le second provient dune solution maximale doptimisation des agents qui consiste choisir y = 0.

Dans le cas de modles de slection, il ny a pas vraiment de diffrence entre la censure et la solution en coin.

Les modles de slection sappliquent aux cas de troncature partielle, censure et solution en coin.

Dans le cas de troncature (totale), on doit appliquer des modles de rgression tronque.

Les modles de dure sont une classe spcifique des mthodes conomtriques qui permettent danalyser des processus de sortie dun tat donn.

_1313819772.unknown

_1313819936.unknown

1.4. Exemples dapplication

Exemple 1: (Dcision dinnover et dpenses dinnovation) Dans des enqutes dinnovation dentreprise, souvent on doit modliser la dcision dune entreprise dinnover, et si elle innove, comment elle dtermine ses dpenses dinnovation. Un modle de slection est adquat dans une telle situation.

Exemple 2: (Dcision de travailler et offre de travail) De faon similaire, il se peut quon soit intress par loffre de travail (en nombre dheures de travail) dune catgorie dagents conomiques (individus ou mnages). Loffre de travail nest observe que pour les gens qui ont dcid de travailler. Ainsi, on doit modliser la dcision de travailler et loffre de travail de ceux qui travaillent.

Exemple 3: (Dpenses en biens durables) Dans les modles biens durables, les agents prennent une dcision dacheter ou non un certain bien, et sils achtent le bien, combien dpenser pour acqurir ce bien. L encore, un modle de slection est adquat.*

Exemple 4: (Dcision dtre locataire ou propritaire, et dpenses associes au rgime) Modle de regime ou endogenous switching regression.

Exemple 5: Effets de la politique active demploi sur la dure de chmage des jeunes urbain en Cte dIvoire(Dr. Kouakou K. Clment). Lestimation dun modle de dure avec instrumentation du passage par le programme dinsertion rfute lexistence dun effet significatif sur la sortie du chmage dans la situation post programme des jeunes. *

*

II. FORMALISATION

2.1. Cadre Gnral

Soit

une variable dintrt de lindividu i,

un vecteur de variables explicatives,

un vecteur de paramtres associs quon cherche estimer, et

un terme derreurs, lis par la relation:

(1)

Soit un chantillon alatoire contenant N individus (observations), cest--dire = 1..., N.

Hypothse:

_1313820464.unknown

_1313820526.unknown

_1313820581.unknown

_1313820655.unknown

_1313820489.unknown

_1313820435.unknown

*

Intressons-nous la moyenne de la population

(2)

On peut estimer cette expression en utilisant notre chantillon alatoire et des techniques standard (par exemple, par moindres carrs ordinaires (MCO)) si on observe yi et xi pour N individus.

Souvent on observe yi que pour un chantillon non-alatoire (selected sample) qui est un sous-chantillon N1 de N. Le sous-chantillon est slectionn selon divers mcanismes de slection.

Dans ce cas on ne peut estimer que:

E(yi |xi , mcanisme de slection) =

(3)

_1313820735.unknown

_1313820996.unknown

*

Dans le cas gnral

(1) le mcanisme de slection donne lieu un chantillon non-alatoire.

(2) Il y a existence dun biais de slection qui quivaut un biais de variable manquante (omitted-variable bias):

Si

E(yi /xi ,mcanisme de slection) = E(yi |xi ), la moyenne de la population,

Il y a absence de biais de slection

_1313821188.unknown

_1313821231.unknown

*

2.2. Tobit type 2 ou Tobit Gnralis

Dans le modle Tobit type 2 ou Tobit gnralis la slection dans lchantillon se fait selon un mcanisme binaire.

Soit d une variable latente (non-observe) dnie par:

(4)

pour tout individu i = 1..., N.

Exemple: (Equation de salaire)

mesure la propension (qui se traduit en anglais par incentive) travailler, et est dni comme la diffrence entre le salaire offert et le salaire de rservation.

_1313821594.unknown

_1313832163.unknown

*

Tobit type 2 ou Tobit Gnralis (2)

Si

, lvaluateur observe:

a. la variable dpendante binaire

b. et la variable dpendante continue yi

Si

lvaluateur observe:

c. la variable dpendante binaire

d. et la variable continue yi nest pas observe.

Lquation (4) se nomme quation de slection et est dni comme un modle choix discret binaire (par exemple, Probit ou Logit).

Les variables explicatives

et

sont toujours observes.

_1313821772.unknown

_1313821865.unknown

_1313821990.unknown

_1313822008.unknown

_1313821864.unknown

_1313821723.unknown

*

Tobit type 2 ou Tobit Gnralis (3)

Exemple: Equation de salaires: Si

, lindividu accepte de travailler car le salaire offert est suprieur au salaire de rservation, tous deux non-observs par lvaluateur. Tout ce quon observe, cest le salaire que reoit effectivement lindividu.

Si

, lindividu naccepte pas de travailler car le salaire offert est infrieur ou gal au salaire de rservation. Dans ce cas, on nobserve pas le salaire de lindividu.

Exemple: Dcision dinnover et dpenses dinnovation Si

, lentreprise choisit dinnover car son prot espr (non-observ) est positif, dans ce cas elle a des dpenses positives dinnovation.

Si

, lentreprise choisit de ne pas innover et a des dpenses nulle dinnovation.

_1313821723.unknown

_1313821865.unknown

*

2.3. Tobit type 3 (1)

Dans le modle Tobit type 3 la slection dans lchantillon se fait selon un mcanisme semi-continu ou censure.

Soit

une variable latente dfinie par:

(5)

Pour tout individu i= 1, N.

_1313822646.unknown

_1313822936.unknown

*

Exemple: (Equation de salaires)

mesure loffre de travail (en nombre dheures) dsire.

Si

, lvaluateur observe

- la variable dpendante continue

- et la variable continue yi

Si

, lvaluateur nobserve ni

ni

Dans ce cas, lquation de slection est un modle censur connu aussi sous le nom de Tobit type 1. Les variables explicatives

et

sont toujours observes.

Exemple: (Equation de salaires) Si

, on observe loffre de travail effective de lindividu et le salaire quil reoit pour cette offre de travail.

Si

, on nobserve ni loffre de travail effective ni le salaire de lindividu.

_1313822401.unknown

_1313822473.unknown

_1313823062.unknown

_1313823077.unknown

_1313822472.unknown

_1313822318.unknown

_1313822365.unknown

_1313822296.unknown

Quelques Remarques

En principe, le modle Tobit type 3 est plus riche en information que le modle Tobit type 2 pour estimer lquation de salaire.

(2) Lestimation de , est-elle plus prcise quand on utilise le modle Tobit type 3?

(3) Dans le modle Tobit type 3, la propension de lindividu travailler et son offre de travail souhaite sont confondues*

*

2.4. Tobit type 5 ou modles rgime(s)

Le modle Tobit type 5 ou modle rgime(s) (en anglais endogenous switching regression) consiste en une variable latente dont le signe dtermine le rgime dans lequel se trouve lindividu, et de deux variables dpendantes pour chaque rgime.

Formellement le modle scrit:

(6)

(7)

(8)

Les variables dpendantes observes de ce modle sont:

_1313823810.unknown

_1313823811.unknown

_1313823564.unknown

*

si lindividu se trouve dans le rgime 0 (

),

sil se trouve dans le rgime 1 (

)

la variable dpendante de lindividu i sil se trouve dans le rgime 0 (

)

la variable dpendante de lindividu i sil se trouve dans le rgime 1 (

)

_1313823901.unknown

_1313823960.unknown

_1313824087.unknown

_1313824088.unknown

_1313824010.unknown

_1313823939.unknown

_1313823867.unknown

*

Quelques remarques

(1) Lquation de slection est un modle de type Probit ou Logit

(2) Les variables explicatives

sont toujours observes

Pour tout individu i, y0i ou y1i est observ: un individu se trouve dans lun ou lautre rgime

Exemple: (Choix de logement: location vs achat) Un individu ou mnage dcide de louer (rgime 0) ou dacheter (rgime 1) le logement dans lequel il habite, et dtermine le montant de dpenses quil y attribue.

Si

, lindividu ou mnage loue son logement et dpense en tout y0i pour la location.

Si

, lindividu ou mnage achte son logement et dpense en tout y1i pour lachat.

Exemple: Salaires des syndiqus versus non-syndiqus: Un individu dcide de se syndiquer ou pas, et regarde la rpercussion de son choix sur son salaire.

_1313824087.unknown

_1313824124.unknown

_1313823901.unknown

*

III. ESTIMATION

3.1. HECKMAN EN DEUX ETAPES

3.1.1. Tobit type 2

Soit lquation dintrt

(9)

Hypothse:

.

(10)

Supposons quon observe

que pour un sous-chantillon N1 selon le mcanisme de slection suivant :

(11)

Avec:

si

si

_1313824625.unknown

_1313831085.unknown

_1313831086.unknown

_1313832137.unknown

_1313824626.unknown

_1313821723.unknown

_1313821772.unknown

_1313820655.unknown

*

En gnral

, ce qui induit un biais de slection qui quivaut un biais de variable manquante (omitted-variable bias)

Si

, il ny a pas de biais de slection

Hypothse:

sont distribus de faon indpendante et identique (iid) selon la loi normale N (0, ) avec:

(12)

_1313831950.unknown

_1313832112.unknown

_1313832123.unknown

_1313831576.unknown

*

Lhypothse de la loi normale bivarie implique que:

(13)

est la covariance entre les termes derreur de lquation de slection et de lquation dintrt

est la variance du terme derreur de lquation de slection

sappelle linverse du rapport de Mills ou la fonction de hasard ou encore la fonction de risque de la loi normale centre rduite.

est la densit de la loi normale centre rduite

est la fonction de rpartition associe

_1313834131.unknown

_1313834740.unknown

_1313875118.unknown

_1313875119.unknown

_1313834394.unknown

_1313834019.unknown

*

Lquation dintrt peut scrire comme:

(14)

Si on connaissait Zi , donc

, on pourrait estimer lquation (14) par MCO en utilisant le sous-chantillon N1 .

En incluant

comme rgresseur dans lquation, on corrige pour le biais de slection.

Lestimateur MCO

est sans biais (unbiased), convergent (consistent) mais inefficace (inefficient). Cette inefficacit de lestimateur MCO vient du fait que la variance de

EMBED Equation.DSMT4 ne satisfait pas la condition dhomoscdasticit (elle nest pas constante). Ainsi, les erreur-types de

doivent tre calcules diffremment de la mthode standard requise pour lestimateur MCO.

_1313835130.unknown

_1313835228.unknown

_1313835365.unknown

_1313835455.unknown

_1313835348.unknown

_1313835181.unknown

_1313834867.unknown

*

Rsum de la procdure de Heckman en deux tapes (Tobit Type 2)

(1) a. Obtenir de lquation de slection par maximum de vraisemblance appliqu un modle Probit ou Logit.

b. Obtenir les valeurs prdtes:

c. Calculer

tel que

Seul

est identifi donc on pose:

(2) a. Remplacer dans lquation (14)

b. Estimer (14) en utilisant le sous-chantillon N1 pour lequel on observe yi,

sont obtenus par les MCO.

c. Les erreurs-types doivent tre corriges en utilisant la mthode de Heckman

(1979) ou du bootstrap.

_1313835780.unknown

_1313836197.unknown

_1313838966.unknown

_1313838967.unknown

_1313836383.unknown

_1313836177.unknown

_1313835455.unknown

*

3.1.2. Tobit type 3

Lquation dintrt est la mme:

Lquation de slection scrit:

O la variable dpendante associe est:

si

,

inobserve (censure) si

, ou, ni

(solution en coin)

Lquation de slection est donc une rgression censure ou Tobit de Type 1.

(15)

_1313822365.unknown

_1313822473.unknown

_1313824626.unknown

_1313837274.unknown

_1313822936.unknown

_1313822401.unknown

_1313822318.unknown

*


1) a. Obtenir

de lquation de slection par maximum de vraisemblance appliqu un modle Tobit

La vraisemblance du modle Tobit scrit:

(16)

sont identifis

b. Estimer

(17)

2) a. Ecrire lquation dintrt comme:

(18)

b. Appliquer MCO lquation (18), en utilisant le sous- chantillon N1

c. Corriger les erreur-types, par exemple, par la mthode du bootstrap

_1313837649.unknown

_1313837872.unknown

_1313838134.unknown

_1313837782.unknown

_1313837509.unknown

*

3.1.3. Tobit type 5

Rappel: il y a deux quations dintrt:

(19)

(20)

Lquation de slection qui dtermine le rgime de lindividu scrit:

(21)

dont la variable dpendante observe est dfinie par:

si

,

(22)

_1313823810.unknown

_1313823867.unknown

_1313823939.unknown

_1313823960.unknown

_1313823901.unknown

_1313823811.unknown

_1313823564.unknown

*


(1) Obtenir

de lquation de slection par maximum de vraisemblance appliqu un modle Probit ou Logit.

Seul

est identifi donc on pose:

Estimer

(2) Ecrire les deux quations dintrt de la faon suivante:

(230 et 231)

a. Appliquer MCO aux quations en utilisant les sous-chantillons N0 et N1 et Corriger pour les erreurs-types (bootstrap).

b. Puisque les 2 rgimes ne sont pas observs de faon simultane, le paramtre

nintervient pas dans lestimation du modle. Dans la pratique on pose

= 0.

_1313838870.unknown

_1313839051.unknown

_1313839516.unknown

_1313839559.unknown

_1313838965.unknown

_1313838836.unknown

*

3.2. MAXIMUM DE VRAISEMBLANCE

Tobit type 2 La vraisemblance du modle Tobit type 2 scrit:

O

sont estims de faon jointe.

Tobit type 3: La vraisemblance du modle Tobit type 3 scrit:

O


_1313864548.unknown

_1313864711.unknown

_1313865065.unknown

_1313864537.unknown

*

Tobit type 5: La vraisemblance du modle Tobit type 5 scrit:

O


Remarque

Les erreur-types de lestimateur du maximum de vraisemblance sont correctes

_1313865673.unknown

_1313865812.unknown

IV. APPLICATIONS : DECISION DE TRAVAILLER ET EQUATION DE SALAIRES*

IV. APPLICATIONS : OFFRE DE TRAVAIL ET EQUATION DE SALAIRES*

IV. APPLICATIONS : DECISION DETRE SYNDIQUE ET EFFET SUR LES SALAIRES*

Variables Instrumentales et Effets Moyens de Traitement Dr. Alban A. E. AHOURELECTURE 4*

PLAN I. MOTIVATION1.1. Effets moyens de traitement1.2. Variables instrumentales

II. MODELES A VARIABLES ENDOGENE BINAIRE2.1. Rgression 12.2. Two-Step IV

*

MOTIVATION

1.1. Effets Moyens de Traitement (EMT)

1.1.1. Cadre Gnral

La variable de traitement d est binaire et vaut 1 si lindividu est trait et 0 sinon; elle est observe.

La variable doutput y des individus est continue, et on observe y1 pour les individus qui reoivent le traitement et y0 pour les individus qui nen reoivent pas. Autrement dit, pour un individu, y1 ou y0 est observ.

On note par x le vecteur de caractristiques observes des individus (a la fois ceux qui sont traits et ceux qui ne le sont pas).*

On sintresse au changement moyen de loutput dun individu non-trait si cet individu devait tre trait.Donc, leffet moyen de traitement (EMT) dans la population est deni par :

E(y1 y0 )

et leffet moyen de traitement des traits (EMTT) est dni par:

E(y1 y0 |d =1).*

1.1.2. Hypothse dindpendance conditionnelle

Dans le cas o il y a randomisation (exprience contrle), le traitement est indpendant de la variable doutput, cest dire y1 , y0 D.

En cas dabsence de randomisation, par exemple dans le cas de donnes observationnelles, lhypothse dindpendance nest pas satisfaite, on doit faire alors une hypothse dindpendance conditionnelle, cest dire y1 , y0 D|x.

Si lhypothse dindpendance conditionnelle est satisfaite, la variable de traitement est dite exogne et on peut appliquer les mthodes du Score de Propension et du Matching (Appariement).

Si lhypothse dindpendance conditionnelle nest pas satisfaite, la variable de traitement est dite endogne et on doit utiliser des modles rgimes ou des modles variables instrumentales.*

1.2. Variables Instrumentales

1.2.1. Un Seul Instrument

Soit un modle de rgression linaire:

Exemple: (Equation de salaires) Soit y le salaire de personnes qui travaillent temps plein, x1 le niveau dtudes (en annes) et x2 le genre de ces personnes.

On peut supposer que le niveau dtudes est corrl avec des variables non-observables comme la motivation, lintelligence, le talent etc.*

(1)

o

mais

_1313901917.unknown

_1313901918.unknown

_1313901728.unknown

La variable x1 est donc dite endogne contrairement la variable x2 qui est dite exogne. Dans ce cas, si on applique MCO lquation (1), 0 , 1 et 2 sont non-convergents mme si E( |x2 ) = 0.

On peut rsoudre ce problme de non-convergence en utilisant lestimateur de la variable instrumentale (VI).

Dans ce cas, on a besoin dune variable observable z1 qui est absente de lquation (1) et qui satisfait 2 conditions.

E(|z1 ) = 0

(2) E(x1|z1 ) = 0*

Une telle variable z1 est appele Variable Instrumentale ou Instrument et scrit comme:

La deuxime condition implique 1 = 0. et la relation de lquation (2) est appele forme rduite. Cest dire que la variable endogne scrit comme une projection linaire de toutes les variables exognes.

*

(2)

O

_1313902505.unknown

_1313902587.unknown

Lquation (1) sappelle forme structurelle, et la forme rduite associe scrit:

Les paramtres 0 , 1 et 2 sappellent paramtres rduits, 0 , 1 et 2 sont les paramtres structurels.

*

(3)

_1313903708.unknown

1.2.2. Instruments Multiples

Dans le cas dinstrument unique, on applique lestimateur VI standard. Si on a plusieurs instruments pour une variable endogne, on peut utiliser lestimateur VI standard en ignorant certains instruments, mais cet estimateur sera inefficace.

Lestimateur VI efficace sappelle lestimateur des 2MCO (2SLS) et est dni de la faon suivante:

estimer lquation (2) de la forme rduite, cest dire 0 , 2 et 1 par MCO

(2) obtenir

(3) rgresser

Les paramtres obtenus sont les paramtres estims 2MCO*

_1313904037.unknown

_1313904125.unknown

_1313904202.unknown

II. MODELES A VARIABLES ENDOGENE BINAIRE

2.1. Rgression 1

2.1.1. Cadre Gnral

Une faon destimer les EMTs ou les EMTTs est dcrire une rgression o y est la variable explique et d la variable explicative. Pour cela, on crit:

y = (1 d)y0 + dy1(4) = y0 + d(y1 y0 )

crivons loutput des non- traits comme: y0 = 0 + 0(5)

et celui des traits comme: y1 = 1 + 1(6)*

Si on remplace les quations (5) et (6) dans (4) on obtient la rgression:

o 1 est la moyenne de loutput des traits, 0 est la moyenne de loutput des non traits, donc :

(1 0 ) = EMT, et 0 + d(1 0 ) est la composante stochastique (alatoire) de la rgression.

Puisquon observe d, et y, on peut estimer lquation (7), et donc (1 0). Comme dans toute rgression, on doit faire des hypothses sur la composante stochastique de lquation.*

(7)

_1313905219.unknown

Par exemple, si on contrle pour les caractristiques (supposes exognes) x de lindividu et quon fait lhypothse E(1 0 |x) = 0, sous hypothse dindpendance conditionnelle (unconfoundeness) la variable de traitement est exogne.

Dans ce cas, appliquer MCO lquation (7) estime de faon convergente lEMT.

Dans notre cas, on ne fait plus lhypothse dindpendance conditionnelle, cest--dire que la variable de traitement est endogne.24*

Lintuition est que la dcision dun individu de participer un programme de dveloppement dpend de certaines caractristiques non-observables de lindividu qui expliquent loutput d au traitement.

Cest ce quon appelle la slection sur les non-observables (selection on unobservables) par opposition la slection sur les observables (selection on observables).

Exemple: (Niveau dtudes et fertilit) Supposons que la variable doutput est la fertilit (nombre denfants) des femmes dun certain pays en ge denfanter, et que la variable de traitement est binaire prenant la valeur 1 si la femme a au moins 7 annes dtudes et 0 sinon.

On suppose quil existe des instruments collects dans un vecteur z et que 1 = 0 .*

La rgression ainsi obtenue sappelle rgression variable endogne binaire et scrit:

O

*

(8)

_1313905966.unknown

_1313906184.unknown

Si il y a un seul instrument, on peut appliquer la mthode VI standard pour estimer , et .

Si il y a plusieurs instruments, la mthode VI standard nest pas efficace, dans ce cas, la mthode VI efficace est la mthode 2MCO.*

2.2. Modles Variable Endogne Binaire: 2-step IV

Si on fait des hypothses supplmentaires, on peut estimer lEMT , et de faon encore plus efficace que la mthode 2MCO.

Les hypothses supplmentaires sont les suivantes: P(d = 1|x, z) =P(d = 1|x)

P(d = 1|x, z) =F(x, z, ) a une forme paramtrique connue (par exemple Probit ou Logit)

E(u|x, z) = 0

Cette mthode qui permet dobtenir ces valeurs estimes de , et de faon encore plus prcise sappelle la mthode VI en 2 tapes (2-step IV).*

La mthode fonctionne de la faon suivante:

(1) estimer P(d = 1|x, z) =F(x, z, ) en utilisant un modle Probit ou Logit

(2) obtenir

(3) estimer lquation (8) en utilisant comme instruments :

Remarques

Utiliser comme instrument de d nest pas la mme chose quutiliser comme rgresseur la place de d

(1) dans le premier cas, on na pas besoin de corriger les erreur-types(2) dans le second cas, il faut corriger pour les erreur-types*

_1313907798.unknown

_1313907888.unknown

_1313912599.unknown

_1313912599.unknown

IMPLEMENTATION SUR STATA 10.Dr. Alban A. E. AHOUREDr. Wautabouna OUATTARALECTURE 5*

IMPLEMENTATION SUR STATA 10.Dr. Alban A. E. AHOUREDr. Wautabouna OUATTARALECTURE 6*

ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET VALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVES

Lecture 7 :

COMPARAISON DES METHODES DEVALUATION

Dr. Wautabouna OUATTARA

10 septembre 2009, Grand-Bassam

Cellule dAnalyse de Politiques Economiques du CIRES*

1. CADRE GENERAL Diffrentes questions empiriques souleves en Economie et dans les autres Sciences Sociales portent sur lanalyse des causalits des programmes ou politiques.

Au cours de deux dernires dcennies, diffrents travaux en conomtrie et analyse statistique ont t mens sur les effets de ces programmes ou traitements.

Des outils ont t dvelopps pour apprhender les effets des politiques conomiques au niveau microscopique ou pour analyser des causalits.

**

PROBLEME PRINCIPAL: dans la littrature lvaluation de leffet de lassignation dun ensemble dagents un programme ou un traitement.

MAIS: On ne peut la fois participer et ne pas participer au projet au mme moment Donnes Manquantes

SOLUTION: Construire un groupe tmoin (imitateur) de participants. Ce groupe de non participants similaires aux participants est le groupe de contrle qui sert de contrefactuel.

PRINCIPE FONDAMENTAL: Toutes les valuations quantitatives dimpact se rsument en la construction dun groupe contrefactuel crdible: exprimentation (randomisation) vs post-valuation (donnes observationnelles).1. CADRE GENERAL **

2. METHODE EXPERIMENTALE: LA RANDOMISATIONLe principe gnral: sapprocher au mieux de la mthode de lessai clinique. On compare des gens qui ont bnfici dun traitement et des gens qui nen ont pas bnfici. On met tout en uvre pour que ces gens soient le plus similaire possible.

Les fondements: (1) On ne peut comparer le mme individu dans deux situations diffrentes, tandis quune seule est observable.

(2) Au cours du temps, les autres facteurs peuvent changer.

(3) On peut recourir un groupe de comparaison, mais il peut exister des diffrences initiales (biais de slection ou programme administr un groupe particulier).

La randomisation, construction du contrefactuel par assignation alatoire des groupes de participants et non-participants au projet , permet de corriger le biais de slection. **

2. METHODE EXPERIMENTALE: LA RANDOMISATIONLES METHODES DE LA RANDOMISATION

Mthode de loterie2. Randomisation ordonne ou phase-in3. La randomisation within-group4. Les Plans dEncouragement5. La stratification

LES AVANTAGES DE LA RANDOMISATION

Grande qualit du contrefactuel Elimination des biais de selection

Ncessite un petit chantillon **

2. METHODE EXPERIMENTALE: LA RANDOMISATION LES LIMITES DE LA RANDOMISATION

Les expriences contrles ne sappliquent pas tous les projets raisonsdordre thique, dordre pratique.

Ethique: Lidentification dun groupe de contrle et dun groupe test suppose que lon choisit consciemment de ne pas traiter tout le monde. Comme le traitement est gnralement une politique ou de laide que lon juge a priori bnfique, il est difficile de ne pas voir une injustice ne pas offrir cette aide tout le monde.

(2) La validit interne est fonction de la conception et de la mise en oeuvre: problmes dattrition (des individus disparaissent de lchantillon), spillover, contamination, biais de randomisation.

James Heckman : la validit des exprimentations nest que conditionnelle. Les rsultats ne sont valables que dans le contexte de lexprimentation (dans le pays, sur lchantillon trait, selon les conditions macroconomiques, etc.) . **

2. METHODE EXPERIMENTALE : LA RANDOMISATIONLopposition entre vision micro et macro. Si les mthodes empiriques des macro-conomistes ont t discrdites au profit danalyses micro plus rigoureuses et plus cibles, les analyses globales (institutions, ouverture commerciale, etc.) nen restent pas moins pertinentes pour expliquer le dveloppement conomique.

Deaton et Rodrik: les pays qui se sont dvelopps rcemment (et ont sorti de la pauvret des millions dindividus) ne lont pas fait en sappuyant sur une aide extrieure et encore moins sur des politiques de dveloppement exprimentes au pralable, mais en souvrant au commerce, en garantissant les droits de proprit et en luttant contre lacorruption.

Banerjee et Duflo: les exprimentations ont pu mettre en lumire lefficacit sensiblement diffrente des politiques pour obtenir le mme niveau dducation. Lenthousiasme, lgitime, de ces chercheurs les a amen considrer lexprimentation comme lidal mthodologique (le gold standard) de lconomie empirique mais aussi comme lespoir dun renouveau de lengagement citoyen et la promesse dun monde meilleur. **

3. METHODES NON-EXPERIMENTALES: CADRE GENERAL**

3. METHODES NON-EXPERIMENTALES: SCORE DE PROPENSION ET MATCHING (1)Ide :

Pour chaque individu trait, il faut trouver un individu dans le groupe de contrle qui lui est similaire dans toutes les observables et comparer les moyennes des rsultats entre les deux groupes.

Slection se fonde sur les observables**

(1) Lexact Matching ou Appariement (impossible si X est de grande dimension ou sil y a des variations continues)

(2) Lappariement par le Score de Propension: Le score de propension est la probabilit (conditionnelle) de recevoir le traitement tant donnes les co-variablesEstimer P[Di=1|Xi] par Probit ou LogitAppariement sur la base du score de propension Ncessaire si X est de grande dimensionAvec ou sans remise? (Cela dpend de la taille du groupe de comparaison)Matching partir du voisin le plus proche, kernel matching, stratification ou matching sur intervalles.3. METHODES NON-EXPERIMENTALES: SCORE DE PROPENSION ET MATCHING (2)**

3. METHODES NON-EXPERIMENTALES: LES DOUBLES DIFFERENCES (3)Permet dobtenir un effet individuel qui soit indpendant du temps. Ncessite des donnes avant et aprs le traitementCompare le groupe trait et le groupe de comparaison dans leur diffrence de rsultats avant et aprs le traitement. En comparant les changements dans le temps des moyennes des 2 groupes, on tient compte la fois des spcificits des groupes et des priodes Contrler pour le trend temporel au niveau des 2 groupes.

Problme de biais dattrition**

3. METHODES NON-EXPERIMENTALES: REGRESSION DISCONTINUITY DESIGN (4)Mthode Quasi-Exprimentale dans laquelle la probabilit de recevoir le traitement est une fonction continue dune variable un seuil exogne.

Exemple: seuil pour recevoir un traitement

Appariement en dessous ou au dessus du seuil**

3. METHODES NON-EXPERIMENTALES: VARIABLES INSTRUMENTALES (5) Quest-ce qui se passe si la slection dpend de caractristiques non observables qui peuvent tre corrles avec les non observables de lquation dintrt ? Endognit de la variable de slection.

Slection sur les nonobservables: le talent, lintelligence, la motivation.

Estimation par le MV des quations de slection et dintrt avec une distribution jointe des termes derreurs.

- Heckman en deux tapes (Modles Rgimes) - 2MCO- IV en deux tapes

**

4. CRITERES DE CHOIX ENTRE METHODES NON EXPERIMENTALES (1)Identifier les facteurs qui peuvent affecter le rsultat et la slection

Les facteurs communs qui affectent la fois la slection et le rsultat quils soient observables ou non.

La quantit et le type de donnes disponibles: plus on aura contrler pour des questions dendognit et/ou de biais de slection et plus on aura besoin de donnes.

Moins restrictives seront les hypothses dindpendance et plus on devra faire des hypothses sur la forme fonctionnelle des quations de slection et dintrt et sur les distributions des termes derreur. **

4. CRITERES DE CHOIX ENTRE METHODES NON EXPERIMENTALES (2)Doubles Diffrences Problme: Perte dune observationAvantage: Corrige pour les effets individuels

Regression Discontinuity DesignProblme: Peu dobservations en dessous ou au dessus du seuil Problme: Le seuil doit tre exogne**

*Principales dmarches dans la conception et l'excutiondes valuations d'impactPendant l'Identification et la Prparation du Projet1. Dterminer s'il faut ncessairement effectuer une valuation ou non2. Clarifier les objectifs de l'valuation3. Explorer la disponibilit des donnes4. Concevoir l'valuation5. Former l'quipe d'valuation6. Si des donnes seront collectes :(a) Conception et slection des chantillons(b) Dveloppement de l'instrument de collecte des donnes(c) Recruter et former le personnel de terrain(d) Raliser lenqute pilote(e) Collecte de donnes(f) Gestion et accs aux donnesPendant la Supervision du Projet7. Poursuivre la collecte des donnes8. Analyser les donnes9. Rendre compte des rsultats par crit et les discuter avec les dcideurs et les bailleurs de fonds10. Incorporer les rsultats la conception du projet.

**

*********

Documents

Thème : METHODES D’EVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam