Thème : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES Dr

Thème :

METHODES D’EVALUATION DES PROGRAMMES

DE DEVELOPPEMENT

9-10 septembre 2009, Grand-Bassam

Cellule d’Analyse de Politiques Economiques du CIRES

Dr. Alban A. E. AHOUREDr. Wautabouna OUATTARA

ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET EVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVEES

1

Contexte et Justification

Rareté des ressources nationales/ internationales affectées aux programmes de développement.

Orienter celles-ci vers des projets ayant un impact réel sur les populations

DSRP/PPTE Gestion Par les Résultats

Comment Évaluer les Résultats / L’Impact ?2

Lecture 0:Lecture 0: Contexte, Objectifs et Résultats AttendusContexte, Objectifs et Résultats Attendus

Objectifs

Développement des connaissances sur les méthodes d’évaluation des programmes de Developpement

Favoriser la compréhension des méthodes d’évaluation des projets de développement par les participants.

Permettre aux participants de maîtriser les méthodes d’évaluation apprises.

Permettre aux participants d’analyser ces méthodes, de dégager celles applicables aux projets dans leur institution et de savoir les utiliser.

33

• Résultats attendus

Les principes de base des Méthodes d’Évaluation des Programmes de Développement sont maîtrisés.

Les processus d’évaluation des programmes sont

connus et maîtrisés.

Les participants sont en mesure d’évaluer les programmes de développement dans leurs structures respectives à partir méthodes apprises.

44

LA PROBLEMATIQUE DE L’EVALUATION DES

POLITIQUES DE DEVELOPPEMENT

LECTURE 1

5

PLAN

I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel

II. CONTEXTE

III. LES DEUX APPROCHES METHODOLOGIQUES

IV. QUELQUES NOTIONS SUR LES METHODES

V. REVUE DE TRAVAUX EMPIRIQUES DANS LES PVD

6

I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel

7

Demande croissante de preuves concernant les politiques de développement mises en œuvre :

Ces politiques ont-elles les effets attendus ?

Les effets sont-ils significatifs ?

Domaines très variés : programme de bien-être, programmes de formation, programmes de subvention des salaires, programme de nutrition, programmes d’éducation, etc.

II. CONTEXTE

8

A. REPONSES QUALITATIVES INSUFFISANTES

• Etudes sur documents, revues, interviews, données secondaires, etc.

• Etablir les inférences causales sur la base de processus (A B C).

• Limites : Subjectivité dans la collecte des données, l’absence de groupe de comparaison et absence de robustesse statistique.

9

B. QUESTIONS SOULEVEES

Quelle serait la situation des individus participant à un programme en l’absence du programme ?

Quelle serait la situation des non exposés au programme s’ils en étaient bénéficiaires ? Ces deux questions ont un point commun : l’absence d’un don d’ubiquité. En d’autres termes, on ne peut à une date t, participer et ne pas participer au programme. Si existence d’informations sur les situations où le même individu à la fois participe et ne participe pas à un programme pas de problème pour l’évaluation.

Besoin d’un contrefactuel

10

C. POURQUOI AVONS-NOUS BESOIN D’UN CONTREFACTUEL ?

Changement dans le Résultat = Dû au Projet + Dû aux Autres Facteurs (environnementaux, personnels)

• Comparer les mêmes individus avant et après le projet ne contrôle pas pour les effets environnementaux. Impossibilité d’isoler les effets imputables à des facteurs exogènes au programme.

• Comparer seulement des individus similaires mais non identiques au temps t ne contrôle pas pour les différences personnelles

• Contrefactuel: contrôle à la fois pour les facteurs environnementaux et personnels.

Toutes les évaluations quantitatives d’impact se résument en la construction d’un groupe contrefactuel crédible. 11

III. LES DEUX APPROCHES METHODOLOGIQUES

Les Méthodes Expérimentales : construisent le contrefactuel par assignation randomisée d’un groupe de participants au projet (le groupe de traitement) et d’un groupe de non- participants (groupe témoin).

Les Méthodes Non Expérimentales : obtiennent le contrefactuel par des techniques statistiques (Score de Propension et Appariement, Doubles Différences, Variables Instrumentales, Regression Discontinuity Design).

Différent dans la manière de construire le contrefactuel.

12

A. Les expérimentations contrôlées

Elles ont débuté aux USA mais se sont étendues aux pays en développement.

Pour évaluer un projet: expérimentation contrôlée fondée sur le principe de l’assignation aléatoire à un groupe de traitement et à un groupe de contrôle

Le groupe de contrôle et le groupe de traitement sont en principe identiques.

Seule la différence de traitement expliquerait les évolutions ultérieures des deux groupes.

IV. QUELQUES NOTIONS SUR LES METHODES

13

L’objectif : Mettre en application un programme pour construire des conditions où les bénéficiaires sont entièrement comparables aux non bénéficiaires.

Les méthodes expérimentales d’évaluation

Les méthodes d’expérimentation contrôléeProche de l’approche clinique. Repose sur la règle de l’assignation aléatoire. Loterie, Phase-in, Encouragement

Les méthodes d’expérimentation naturelleExploitent l’assignation aux programmes grâce à un évènement naturel survenu indépendamment du chercheur.

14

Portée et limites de l’approche expérimentale

Elle exerce un grand attrait : application transparente grande qualité du contrefactuel, principe simple: nécessite un petit échantillon. Intègre l’implémentation à l’évaluation.

MAIS :

•Les expériences contrôlées ne s’appliquent pas à tous les projets raisons d’ordre éthique, d’ordre pratique : politique expérimentée souvent à une échelle réduite ; il est impossible alors d’extrapoler.

•La validité interne est fonction de la conception et de l’implémentation: problèmes d’attrition (des individus disparaissent de l’échantillon), spillover, contamination, biais de randomisation.

15

B. Les évaluations quasi expérimentales

Beaucoup de projets sont mis en œuvre sans un dispositif explicite d’évaluation d’impact. Malgré tout, on veut savoir s’ils ont bien fonctionné : quelle est l’ampleur de leur effet sur les bénéficiaires.

L’approche consiste à construire un groupe témoin dont les caractéristiques sont aussi comparables que celles du groupe des bénéficiaires de l’intervention.

Comment construire le groupe contrefactuel? Méthodes: Score de Propension et Appariement, Doubles Différences, Variables Instrumentales, Regression Discontinuity Design.

16

Les Méthodes d’évaluation expérimentales

Les méthodes dites de « Discontinuity Design », Tirent profit des “discontinuités naturelles” dans la règle d’assignation des individus au traitement.

Les méthodes d’appariement (matching)Cherchent à reproduire le groupe de traitement parmi les non bénéficiaires afin de reconstituer les conditions d’un cadre expérimental, et cela en s’appuyant sur les variables observables.

Les méthodes de variables instrumentalesPlus proches de celles de l’approche structurelle. Reposent sur des restrictions d’exclusion pour parvenir à l’identification. Le choix des paramètres d’intérêt dépend de l’environnement particulier dans lequel la politique est mise en œuvre.

Les méthodes de fonction de contrôleCes méthodes sont plus proches de celles de l’économétrie. Modélisent directement la règle d’assignation afin de contrôler la sélection dans les données d’observation . 17

Portée et Limites des Méthodes Non- Expérimentales

• Pratiques applicables à presque tous les types d’intervention et peuvent quelque fois être appliquées de façon rétrospective.

MAIS

• Peuvent entraîner des biais dûs à la sélection des échantillons (pas de contrôle parfait) et/ou à la spécification des modèles.

• Peuvent comprendre des données très intensives nécessitant des calculs compliqués.

18

V. Revue de travaux empiriques dans les PVD

(1) La nature de l’intervention.

-Transferts d’argent aux ménages en contrepartie d’obligations en matière d’éducation et de santé de leurs enfants: programme PROGRESA au Mexique, ou les travaux relatifs à l’Afrique du Sud (Aguiro, Carter et Woohard, 2007) ;

- Programme de petit déjeuner exécuté dans les écoles rurales (Cueto et alii., 2000) ;

- Un paquet sanitaire offert sous la forme d’un déparasitage intestinal (Miguel et Kremer, 2004) ; - Programmes de subvention d’écoles pour la scolarisation des enfants (Behrman & al., 2005).

19

(2) Les populations cibles sont variées: exemple les enfants de moins d’un an à 14 ans en milieu rural ou les parents comme dans le cas des programmes de transfert d’argent en Amérique latine ou en Afrique du Sud.

(3) Deux stratégies d’échantillonnage:

La sélection randomisée des participants et non participants lorsqu’il s’agit d’une expérimentation contrôlée,

L’utilisation d’autres méthodes pour construire des groupes de contrôle lorsqu’on n’a pu en disposer avant le démarrage du programme.

20

(4) La taille de l’échantillon.

Elle est souvent faible dans les études expérimentales, même dans les pays développés, par exemple, moins de 150 individus, dans la plupart des études sur l’éducation préscolaire qui ont été menées aux Etats-Unis (Behrman, Cheng, Todd, 2005).

Cependant, des échantillons de grande taille sont parfois utilisés comme l’ont fait Chen, Mu et Ravaillion (2006) pour l’évaluation d’un programme de réduction de la pauvreté dans le sud ouest de la Chine (plus de 2000 bénéficiaires et non bénéficiaires).

Behrman, Sengupta et Todd (2005), recourant à des données du programme PROGRESA au Mexique, ont construit un échantillon de 30 000 enfants pour étudier l’impact, sur leurs performances scolaires, des transferts d’argent dont leurs ménages ont bénéficié. 21

(5) La durée d’exposition des bénéficiaires au traitement.

• Elle peut être d’un an (Miguel, Kremer, 2004 ; Behrman, Sengupta et Todd, 2005), d’autres peuvent dépasser 10 ans (Chen, Mu et Ravaillion, 2006).

(6) les effets attendus: même si le paquet de traitement est le même (par exemple, repas chauds ou déparasitage), les études ne mettent pas toujours l’accent sur.

(7) Les indicateurs de performance : une grande variabilité. Certains insistent sur les impacts relatifs au statut nutritionnel mesuré par des indicateurs anthropométriques (poids-âge, taille-âge, ou taille-poids), d’autres s’intéressent à l’état sanitaire (Huerta, 2006) ou à l’éducation (Newman et al., 1994).

22

(8) L’effet moyen du traitement ou son effet marginal?.

Effet Moyen: la valeur de la variable d’impact du groupe de traitement est comparée à celle du groupe de comparaison.

Effet marginale: l’effet marginal du traitement est mesuré, soit par la différence entre les effets moyens estimés à deux dates différentes, soit en comparant les valeurs prises par la variable d’impact pour des groupes de participants qui différent par leur durée d’exposition au traitement.

23

(9) Les méthodes utilisées: Les différences dans les stratégies d’échantillonnage et les types d’effets à mesurer une grande diversité :

Certains travaux comparent les effets du groupe de traitement à ceux d’un groupe de contrôle en recourant à des techniques du traitement binaire comme les doubles différences ou les modèles de choix discret (Essama, 2006 ; Maluccio, Flores, 2005)

D’autres recourent à des méthodes qui permettent de se passer de l’existence d’un groupe de contrôle et se concentrent sur le groupe de traitement (Imbens, 2004 ; Aguiro, Carter et Woohard, 2007).

24

(10) Quelques Résultats La plupart des travaux reportent des effets positifs des programmes sur la nutrition et le statut sanitaire.

Miguel et Kremer (2004) ont évalué un projet kényan dans lequel un traitement de déparasitage de masse a été appliqué, par phases, à des élèves d’écoles choisies de manière randomisée.

Le programme a enregistré une réduction de l’absentéisme d’un quart et stimulé la participation.

QU’EST-CE QUE LA RANDOMISATION?

QUELLES EN SONT LES PRINCIPES?

POURQUOI CETTE METHODE CONNAIT-T-ELLE UN GRAND INTERET AUPRES DES ECONOMISTES DU DEVELOPPEMENT, AUJOURD’HUI? 25

Je Vous Je Vous Remercie Pour Votre Remercie Pour Votre AttentionAttention

26

ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET ÉVALUATION DES ADMINISTRATIONS PUBLIQUES ET

PRIVÉES

Lecture 2 :

LA RANDOMISATION

Dr. Wautabouna OUATTARA

9 septembre 2009, Grand-Bassam


27

REFERENCES

Duflo, Esther, Rachel Glennerster, Michael Kremer (2008), “Using randomization in development economics research: a toolkit”, In Handbook of Development Economics, Volume 4, ed. T. Paul Schultz and John Strauss, 3895–3962. Amsterdam and Oxford: Elsevier, North-Holland.

Imbens, Guido and Jeffrey Wooldridge (2009), “Recent developments in the econometrics of program evaluations”, JEL, 47(1), 5-86.

Abadie, Alberto (2005), “Semiparametric Difference-in-differences estimators”, Review of Economic Studies 72(1), 1-19.

2828

PLAN DE LA LECTURE

I°/ GENERALITES SUR LA RANDOMISATION

2°/ INTERET DU RECOURS A LA RANDOMISATION

3°/ FORMALISATION DE LA RANDOMISATION

4°/ DIFFERENTES FORMES DE LA RANDOMISATION

5°/ EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES

6°/ CONCLUSION

2929

Depuis la fin des années 90, certains économistes du développement

(notamment Michael Kremer, Esther Duflo, Abhijit Barnerjee…) ont

développé des outils pour appréhender les faits des politiques

économiques.

Ils ont propulsé la théorie de la randomisation (évaluation aléatoire)

et insistent sur les micro-projets comme stratégie de développement

efficace quand on s'y prend rationnellement.

1. GENERALITES SUR LA RANDOMISATION

3030

Shanta Devarajan : La randomisation (ou application par répartition aléatoire) des programmes d’aide est actuellement considérée comme la « règle d’or » permettant d’évaluer l’impact de chaque projet et de trouver les schémas d’intervention les plus efficaces possible.

Esther Duflo : La randomisation est une méthode qui est utilisée pour essayer d’évaluer l’impact d’un programme ou d’un projet dans des domaines tels que l’éducation, la santé, la corruption, le crédit, etc., .

Le principe général: s’approcher au mieux de la méthode de l’essai clinique. On compare des gens qui ont bénéficié d’un traitement et des gens qui n’en ont pas bénéficié. Cela suppose que les personnes dans l’échantillon d’étude ont des similitudes).

3131

L’objectif de l’expérience randomisée

• Travailler avec les partenaires de terrain (ONG, Gouvernements locaux, Compagnies privées etc.) qui veulent mettre en application un programme pour construire des conditions où ceux qui bénéficient du programme soient entièrement comparables à ceux qui n’en bénéficient pas dans un premier temps.

Exemple: Si un gouvernement a de quoi financer la construction de 100 écoles, on va choisir 200 villages au lieu de choisir les 100 qu’il aurait choisi de toute façon. Et après, on collecte des données sur les 200 depuis le début, ce qui permet de comparer par exemple la scolarisation des enfants sur les deux types de villages. Puis, en général, quand l’expérience est terminée, on construit des écoles partout.

3232

LES RELATIONS DE CAUSALITE

1. Relation de causalité de nature déterministe

En général, on parle d’une relation de causalité de nature déterministe lorsque la présence de la cause implique l’effet et réciproquement, si on observe l’effet, la cause est présente au départ.

Exemple : En supposant qu’une seule variable soit suffisante pour causer un phénomène, alors l’observation de cette caractéristique implique nécessairement le phénomène. D’autre part si on observe le phénomène chez un individu, alors celui-ci possède la caractéristique. Le lien entre la variable explicative et le phénomène apparaît comme un lien de causalité de nature déterministe.

3333

2. Relation de causalité de nature probabiliste

Si la cause est présente, l’effet suit avec une certaine probabilité. Réciproquement si on observe l’effet, la cause est présente au départ avec une certaine probabilité.

Exemple. Le fait de recevoir une subvention pour un ménage, n’entraîne pas nécessairement la scolarisation des enfants en âge d’aller à l’école. Un ménage n’ayant pas reçu la subvention, par ailleurs, peut scolariser ses enfants.

La liaison entre le facteur et son effet est souvent exprimée par des mesures statistiques d’association, comme la différence de probabilité de scolariser les enfants entre deux ménages ou l’écart moyen entre les mesures d’une certaine variable dans les deux groupes.

3434

Toutefois, ces mesures n’indiquent pas nécessairement une relation de cause à effet. Elles peuvent seulement témoigner d’une relation statistique.

Avant qu’une association observée entre une politique (ou un traitement) et un résultat ne soit déclarée causale, certaines précautions doivent être prises pour établir un tel jugement.

En particulier, il faut s’assurer que les groupes soient comparables par rapport à toute caractéristique des sujets (âge, genre, etc.) qui peut influencer l’association. Seul le traitement doit faire la différence.

3535

Objet: Relation causale des traitements

Traitement: programme de bien-être, programmes de formation, transferts, dons, programme de nutrition, programmes d’éducation, etc.

Traités vs Non Traités (groupe de contrôle)

Expériences randomisées avec assignation aléatoire (indépendante des résultats et des variables) vs méthode post-évaluation à partir de données observationnelles.

2. INTERET DU RECOURS A LA RANDOMISATION

3636

Problèmes de l’inférence causale

Comparer le même individu dans deux situations différentes tandis qu’une seule est observable.

Au cours du temps, les autres facteurs peuvent changer.

Recourir à un groupe de comparaison, mais il peut exister des différences initiales (biais de sélection ou programme administré à un groupe particulier).

La randomisation permet de corriger le biais de sélection. D’autres méthodes non expérimentales: contrôler les observables, Regression Discontinuity Design, Doubles-Différences, Effets Fixes.

Pas de consensus sur la méthode la plus robuste.

3737

: le résultat pour un individu i traité (exemple: recevoir des livres à l’école)

: le résultat pour l’ individu i sans traitement

: résultat moyen du traitement sur les individus traités

: résultat moyen de l’absence de traitement sur les individus non-traités (le groupe de comparaison).

3. FORMALISATION DE LA RANDOMISATION

3838

Effet du Traitement et Biais de Sélection

E[YiT-Yi

C|T]= Effet Moyen du Traitement sur les Traités

C’est la différence entre le résultat réel des traités et le résultat potentiel des non-traités si le traitement a lieu.

E[YiC|T]- E[Yi

C|C]= Biais de Sélection, la différence dans les résultats potentiels des non-traités s’ils avaient été traités et leurs résultats réels (en tant que groupe de comparaison).

Problème: E[YiC|T] (résultat moyen du traitement sur les

individus non-traités) n’est pas observable.

D’où la nécessité de construire un factuel (groupe d’individus similaires qui ne reçoit pas le traitement.

3939

Que Mesure l’Effet Total ou l’Effet Partiel ?

Les résultats des évaluations randomisées donnent une forme réduite des impacts du traitement, c-à-d les effets totaux.

Nous pouvons être intéressés par des effets partiels (ceteris paribus). Pour cela, nous avons besoin d’un modèle structurelle qui explique les différences entre les effets totaux et les effets partiels.

Exemple : Si un enfant reçoit les livres scolaires, les parents peuvent accroître ou décroître l’offre domestique d’inputs éducationnels. Ce qui accroît ou décroît l’effet partiel du programme de dons de livres.

4040

1. Méthode de loterie.

Exemple : Crédit de consommation élargi en Afrique du Sud. Approbation aléatoire des demandes de prêts. Trois groupes: approbation totale, approbation partielle et rejet total.

◦ Cela n’est valable que pour un groupe marginal.

2. Randomisation ordonnée ou phase-in

Exemple : Programme de déparasitage intestinal dans des écoles au Kenya. 75 premières écoles ont été sélectionnées de façon aléatoire en 1998-2002. 25 écoles sélectionnées commencent le programme en 1998 et sont comparées au 50 autres.

Un autre groupe de 25 écoles commencent le programme en 1999. Ainsi, les 50 écoles qui reçoivent le traitement sont comparées aux 25 dernières en 1999.

Les 25 dernières écoles reçoivent le traitement en 2000.◦ Cette méthode se focalise sur les effets de court terme. Si le

phase-in est très rapide, les effets peuvent ne pas avoir le temps nécessaire pour leur maturité.

◦ Problème lie au traitement futur escompte, attendu par les groupes.

4. LES DIFFERENTES FORMES DE RANDOMISATION

4141

3. La randomisation within-group

Exemple : Programme de tutorat (balsakhi) dans les écoles des zones urbaines pauvres en Inde. Un (1) balsakhi est assigné de façon aléatoire aux classes dans chaque école.

Problème: contamination des écoles de comparaison. (les directeurs font une réallocation des ressources dans les classes des Balsakhi)

4. Les plans d’encouragement

Exemple : les agriculteurs sont invités de façon aléatoire à participer à des formations sur l’utilisation des engrais au Kenya.

Cela accroît la probabilité du traitement

4242

5. EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES

4343

4444

4545

4646

4747

EXEMPLE ILLUSTRATIFEXEMPLE ILLUSTRATIF

Le gouvernement souhaite subventionner les lycées de plus de 500 élèves.

L’objectif est d’apprécier les effets de cette subvention sur les résultats scolaires afin de généraliser le projet à tous les établissements du pays, à terme.

On considère une Ville Pilote regroupant 50 lycées supposés identiques.

25 lycées (Groupe B des traités) reçoivent la subvention à la date (t).

25 lycées (Groupe A de contrôle) ne sont pas sont à l’expérimentation à la même date (t).

4848

EXEMPLE ILLUSTRATIFEXEMPLE ILLUSTRATIF

La variable d’intérêt est le Résultat Scolaire (RS).Avec: : output moyen du groupe des traités à la date 1. : output moyen du groupe des traités à la date 2. : output moyen du groupe de contrôle à la date 1. : output moyen du groupe de contrôle à la date 2.

Problème 1: Si on considère les traités uniquement : ne suffit pas à capter l’effet de la politique.

Problème 2: Si on considère la période post traitement uniquement :

ne suffit pas à capter l’effet de la politique.Une des solutions réside dans l’approche de la double différence

qui conduit à des estimateurs sans biais.

49

BRS1

BRS 2

ARS1

ARS 2

BBRSRS 12

ABRSRS 22

49

CONCLUSION

Les conclusions tirées d’un test de randomisation sont

strictement valables seulement pour les sujets utilisés

dans l’expérience (validation interne).

Ces conclusions peuvent être inférées à une population

mère si les sujets sont un échantillon aléatoire de la

population mère. Malheureusement, ceci est souvent

impossible en pratique.

5050

Sans randomisation, il n’est pas possible d’assurer la comparabilité des groupes. Dans les études d’observations, pour passer de l’association statistique à la causalité, le chercheur doit faire appel à un certain nombre de critères auxilliaires. Voici les plus connus:

Constance de l’association observée. Des études conduites en des moments et des lieux différents surt d’autres populations produisant des résultats semblables accréditent l’hypothèse de causalité.

Intensité de l’association. L’action des biais sur l’association se fait vraisemblablement moins sentir lorsque l’intensité ou la force de l’association est grande. En ce sens, une plus forte intensité favorise le jugement de causalité.

5151

Le chercheur doit aussi faire appel à d’autres critères auxilliaires tels que :

Spécificité de l’association. Plus un facteur est exclusif, plus l’interprétation causale est plausible.

Cohérence chronologique. La cause doit précéder l’effet.

Présence d’une relation dose-effet. L’effet augmente lorsque la dose augmente.

Cohérence avec les connaissances.

5252

5353

Modélisation Structurelle des Equations de Sélection

Dr. Alban A. E. AHOURE

LECTURE 3

54

PLAN

I. MOTIVATION

II. FORMALISATION

III. ESTIMATION

IV. APPLICATIONS

55

I. MOTIVATION

1.1. Echantillon aléatoire

Lors de l’inférence classique :

(1) on tire un échantillon aléatoire de la population d’intérêt

(2) on spécifie une relation entre les variables à expliquer et les variables explicatives

(3) on estime les paramètres d’intérêt (e.g. effets marginaux, élasticité)

(4) on prédit les variables d’intérêt pour des valeurs des variables explicatives, sachant les paramètres estimés

56

Exemple: Equation de salaires : Supposons qu’on soit intéressé

par l’estimation de l’équation de salaire de gens en âge de

travailler (dans un pays quelconque). La population en question

comprend tous les gens en âge de travailler, non seulement ceux

qui travaillent mais aussi ceux qui ne travaillent pas.

57

1.2. Echantillon non-aléatoire ou “choisi” (selected)

Le terme anglais “selected sample” qu’on peut traduire par

“échantillon choisi” décrit un échantillon non-aléatoire qui

peut l’être pour plusieurs raisons:

(1) échantillonnage stratifié

(2) non-réponse ou attrition

De nombreux mécanismes de sélection donnent lieu à des

échantillons non-aléatoires 58

Exemple: Equation de salaires : Dans la pratique, on observe le

salaire de ceux qui travaillent (ils ont au préalable pris la décision

de travailler). On ne peut pas inclure dans l’estimation les

observations de ceux qui ne travaillent pas.

Ainsi, se limiter au sous-échantillon de ceux qui travaillent pour

prédire le salaire de la population des gens en âge de travailler

induit ce qu’on appelle un biais de sélection.

Si on s’intéresse à la population de gens qui travaillent, on peut

estimer de façon standard l’équation de salaire dans un cadre dit

conditionnel.59

1.3. Quelques Définitions

Soit y une variable dépendante (par ex. le salaire), 1x et 2x deux variables explicatives

(le niveau d’étude et le genre). Troncature

Si pour un niveau de salaire y en dessous d’un certain seuil s on n’observe ni y, ni 1x , ni

2x

Si pour un niveau d’étude 1x en dessous d’un certain seuil 1s , on n’observe ni y, ni

1x , ni 2x

Troncature partielle Si pour les gens qui ont pris la décision de ne pas travailler, on n’observe pas y, on

n’observe pas 1x mais on observe 2x

Si pour les gens qui ont pris la décision de ne pas travailler, on n’observe pas y, on

n’observe pas 2x mais on observe 1x

60

Censure Si pour les gens qui ont pris la décision de ne pas travailler, on n’observe pas y (le

salaire) mais on observe 1x et 2x

Solution en coin Si pour les gens qui ont pris la décision de ne pas travailler, on observe y = 0 et on

observe 1x et 2x :

Dans la pratique, les termes censure et solution en coin sont souvent confondus. Le premier se rapporte à l’observabilité de y, tandis que le second provient d’une solution maximale d’optimisation des agents qui consiste à choisir y = 0. Dans le cas de modèles de sélection, il n’y a pas vraiment de différence entre la censure et la solution en coin. Les modèles de sélection s’appliquent aux cas de troncature partielle, censure et solution en coin. Dans le cas de troncature (totale), on doit appliquer des modèles de régression tronquée. Les modèles de durée sont une classe spécifique des méthodes économétriques qui permettent d’analyser des processus de sortie d’un état donné.

61

1.4. Exemples d’application

Exemple 1: (Décision d’innover et dépenses d’innovation) Dans des enquêtes d’innovation d’entreprise, souvent on doit modéliser la décision d’une entreprise d’innover, et si elle innove, comment elle détermine ses dépenses d’innovation. Un modèle de sélection est adéquat dans une telle situation.

Exemple 2: (Décision de travailler et offre de travail) De façon similaire, il se peut qu’on soit intéressé par l’offre de travail (en nombre d’heures de travail) d’une catégorie d’agents économiques (individus ou ménages). L’offre de travail n’est observée que pour les gens qui ont décidé de travailler. Ainsi, on doit modéliser la décision de travailler et l’offre de travail de ceux qui travaillent.

Exemple 3: (Dépenses en biens durables) Dans les modèles à biens durables, les agents prennent une décision d’acheter ou non un certain bien, et s’ils achètent le bien, combien dépenser pour acquérir ce bien. Là encore, un modèle de sélection est adéquat.

62

Exemple 4: (Décision d’être locataire ou propriétaire, et

dépenses associées au régime) Modèle de regime ou “endogenous

switching regression”.

Exemple 5 : Effets de la politique active d’emploi sur la durée de

chômage des jeunes urbain en Côte d’Ivoire (Dr. Kouakou K.

Clément). L’estimation d’un modèle de durée avec instrumentation

du passage par le programme d’insertion réfute l’existence d’un

effet significatif sur la sortie du chômage dans la situation post

programme des jeunes.

63

II. FORMALISATION 2.1. Cadre Général

Soit iy une variable d’intérêt de l’individu i, ix un vecteur de variables explicatives, un vecteur de paramètres associés qu’on cherche à estimer,

et i un terme d’erreurs, liés par la relation :

i i iy x (1) Soit un échantillon aléatoire contenant N individus (observations), c’est-à-dire = 1..., N.

Hypothèse: ( / ) ( ) 0i i iE x E

64

Intéressons-nous à la moyenne de la population

( / )i i iE y x x (2) On peut estimer cette expression en utilisant notre échantillon aléatoire et des techniques standard (par exemple, par moindres carrés ordinaires (MCO)) si on observe yi et xi pour N individus. Souvent on observe yi que pour un échantillon non-aléatoire (“selected sample”) qui est un sous-échantillon N1 de N. Le sous-échantillon est sélectionné selon divers mécanismes de sélection. Dans ce cas on ne peut estimer que : E(yi |xi , mécanisme de sélection) = ( / , )i i ix E x mécanisme de sélection (3)

65

Dans le cas général ( / , ) 0i iE x mécanisme de sélection

(1) le mécanisme de sélection donne lieu à un échantillon non-aléatoire. (2) Il y a existence d’un biais de sélection qui équivaut à un biais de variable manquante (“omitted-variable bias”) :

Si ( / , ) 0i iE x mécanisme de sélection

E(yi /xi ,mécanisme de sélection) = E(yi |xi ), la moyenne de la population, Il y a absence de biais de sélection

66

2.2. Tobit type 2 ou Tobit Généralisé Dans le modèle Tobit type 2 ou Tobit généralisé la sélection dans l’échantillon se fait selon un mécanisme binaire. Soit d∗ une variable latente (non-observée) définie par:

i i id w (4)

pour tout individu i = 1..., N. Exemple: (Equation de salaire) id mesure la propension (qui se traduit en anglais par “incentive”) à travailler, et est défini comme la différence entre le salaire offert et le salaire de réservation.

67

Tobit type 2 ou Tobit Généralisé (2) Si 0id , l’évaluateur observe :

a. la variable dépendante binaire 1id b. et la variable dépendante continue yi

Si 0id l’évaluateur observe :

c. la variable dépendante binaire 0id d. et la variable continue yi n’est pas observée.

L’équation (4) se nomme équation de sélection et est défini comme un modèle à choix discret binaire (par exemple, Probit ou Logit). Les variables explicatives iw et ix sont toujours observées.

68

Tobit type 2 ou Tobit Généralisé (3) Exemple: Equation de salaires : Si 0id , l’individu accepte de travailler car le salaire

offert est supérieur au salaire de réservation, tous deux non-observés par l’évaluateur. Tout ce qu’on observe, c’est le salaire que reçoit effectivement l’individu.

Si 0id , l’individu n’accepte pas de travailler car le salaire offert est inférieur ou

égal au salaire de réservation. Dans ce cas, on n’observe pas le salaire de l’individu. Exemple: Décision d’innover et dépenses d’innovation Si 0id , l’entreprise choisit

d’innover car son profit espéré (non-observé) est positif, dans ce cas elle a des dépenses positives d’innovation.

Si 0id , l’entreprise choisit de ne pas innover et a des dépenses nulle d’innovation.

69

2.3. Tobit type 3 (1) Dans le modèle Tobit type 3 la sélection dans l’échantillon se fait selon un mécanisme semi-continu ou censure.

Soit hune variable latente définie par :

i i ih z u (5) Pour tout individu i= 1…, N.

70

Exemple: (Equation de salaires) ih mesure l’offre de travail (en nombre d’heures)

désirée. Si 0ih , l’évaluateur observe

- la variable dépendante continue i ih h

- et la variable continue yi Si 0ih , l’évaluateur n’observe ni ih ni iy

Dans ce cas, l’équation de sélection est un modèle censuré connu aussi sous le nom de Tobit type 1. Les variables explicatives iz et ix sont toujours observées.

Exemple: (Equation de salaires) Si 0ih , on observe l’offre de travail effective de

l’individu et le salaire qu’il reçoit pour cette offre de travail. Si 0ih , on n’observe ni l’offre de travail effective ni le salaire de

l’individu.

71

Quelques Remarques

(1) En principe, le modèle Tobit type 3 est plus riche en

information que le modèle Tobit type 2 pour estimer

l’équation de salaire.

(2) L’estimation de β, est-elle plus précise quand on utilise le

modèle Tobit type 3?

(3) Dans le modèle Tobit type 3, la propension de l’individu à

travailler et son offre de travail souhaitée sont confondues

72

2.4. Tobit type 5 ou modèles à régime(s)

Le modèle Tobit type 5 ou modèle à régime(s) (en anglais “endogenous switching regression”) consiste en une variable latente dont le signe détermine le régime dans lequel se trouve l’individu, et de deux variables dépendantes pour chaque régime. Formellement le modèle s’écrit:

i i ir w e (6) 0 0 0 0.i i iy x e (7) 1 1 1 1.i i iy x e (8) Les variables dépendantes observées de ce modèle sont :

73

0ir si l’individu se trouve dans le régime 0 ( 0ir ),

1ir s’il se trouve dans le régime 1 ( 0ir

)

0iy la variable dépendante de l’individu i s’il se trouve dans le régime 0 ( 0ir

)

1iy la variable dépendante de l’individu i s’il se trouve dans le régime 1 ( 0ir

)

74

Quelques remarques (1) L’équation de sélection est un modèle de type Probit ou Logit (2) Les variables explicatives 0 1, i i iw x et x sont toujours observées

Pour tout individu i, y0i ou y1i est observé: un individu se trouve dans l’un ou l’autre régime Exemple: (Choix de logement: location vs achat) Un individu ou ménage décide de louer (régime 0) ou d’acheter (régime 1) le logement dans lequel il habite, et détermine le montant de dépenses qu’il y attribue. Si 0ir

, l’individu ou ménage loue son logement et dépense en tout y0i pour la location.

Si 0ir

, l’individu ou ménage achète son logement et dépense en tout y1i pour l’achat.

Exemple: Salaires des syndiqués versus non-syndiqués : Un individu décide de se syndiquer ou pas, et regarde la répercussion de son choix sur son salaire.

75

III. ESTIMATION 3.1. HECKMAN EN DEUX ETAPES 3.1.1. Tobit type 2

Soit l’équation d’intérêt i i iy x (9)

Hypothèse: ( / ) ( ) 0i i iE x E . (10) Supposons qu’on observe iy que pour un sous-échantillon N1 selon le mécanisme de sélection suivant :

i i id w (11) Avec :

1id si 0id 0id si 0id

76

En général

( / , ) 0i i i iE x w , ce qui induit un biais de sélection qui équivaut à un biais de variable manquante (“omitted-variable bias”) Si ( / , ) 0i i i iE x w , il n’y a pas de biais de sélection Hypothèse: , / ,i i i iu w x sont distribués de façon indépendante et identique (iid) selon la loi normale N (0, Σ) avec :

2

2

(12)

77

L’hypothèse de la loi normale bivariée implique que :

cov( , )( / , )

var( )i i

i i i i i

i

E x w

(13)

cov( , )i i est la covariance entre les termes d’erreur de l’équation

de sélection et de l’équation d’intérêt

2var( )i est la variance du terme d’erreur de l’équation de sélection

( ) ( )

( ) 1 ( )i i

ii i

Z Z

Z Z

s’appelle l’inverse du rapport de Mills ou la fonction

de hasard ou encore la fonction de risque de la loi normale centrée réduite. est la densité de la loi normale centrée réduite Φ est la fonction de répartition associée

var( )i

i

i

wZ

78

L’équation d’intérêt peut s’écrire comme :

( / , 0)

cov( , ) x

var( )

x

i i i i i

i ii i i

i

i i i

y E y x d

(14)

Si on connaissait Zi , donc i , on pourrait estimer l’équation (14) par MCO en utilisant le

sous-échantillon N1 . En incluant i comme régresseur dans l’équation, on corrige pour le biais de sélection.

L’estimateur MCO de et de

est sans biais (“unbiased”), convergent

(“consistent”) mais inefficace (“inefficient”). Cette inefficacité de l’estimateur MCO vient du fait que la variance de i ne satisfait pas la condition d’homoscédasticité (elle

n’est pas constante). Ainsi, les erreur-types de et

doivent être calculées

différemment de la méthode standard requise pour l’estimateur MCO.

79

Résumé de la procédure de Heckman en deux étapes (Tobit Type 2)

(1) a. Obtenir δ de l’équation de sélection par maximum de vraisemblance appliqué à un modèle Probit ou Logit.

b. Obtenir les valeurs prédîtes : i id w

c. Calculer ( ) ( )

( ) 1 ( )i i

ii i

Z Z

Z Z

tel que

var( )i

i

i

wZ

Seul

est identifié donc on pose : 1

(2) a. Remplacer dans l’équation (14) ( )

( )

ii i

i

wpar

w

b. Estimer (14) en utilisant le sous-échantillon N1 pour lequel on observe yi,

et

sont obtenus par les MCO.

c. Les erreurs-types doivent être corrigées en utilisant la méthode de Heckman (1979) ou du « bootstrap » .

80

3.1.2. Tobit type 3

L’équation d’intérêt est la même : i i iy x

L’équation de sélection s’écrit : i i ih z u

Où la variable dépendante associée est :

i ih h si 0ih ,

ih inobservée (censure) si 0ih , ou, ni 0ih (solution en coin)

L’équation de sélection est donc une régression censurée ou Tobit de Type 1.

(15)

81

Résumé de la procédure de Heckman en deux étapes (Tobit Type 3) 1) a. Obtenir et u

de l’équation de sélection par maximum de vraisemblance

appliqué à un modèle Tobit

La vraisemblance du modèle Tobit s’écrit : 1 0

1( ) ( )tobit i i i

u u u

y z zL

(16)

et u sont identifiés

b. Estimer ( )

( )

i

ui

i

u

z

z

(17)

2) a. Ecrire l’équation d’intérêt comme : xi i i iy

(18)

b. Appliquer MCO à l’équation (18), en utilisant le sous- échantillon N1 c. Corriger les erreur-types, par exemple, par la méthode du “bootstrap”

82

3.1.3. Tobit type 5 Rappel : il y a deux équations d’intérêt :

0 0 0 0.i i iy x e (19)

1 1 1 1.i i iy x e (20)

L’équation de sélection qui détermine le régime de l’individu s’écrit : i i ir w e (21)

dont la variable dépendante observée est définie par : 0ir si 0ir , 1ir 0ir

(22)

83

Résumé de la procédure de Heckman en deux étapes (Tobit Type 5)

(1) Obtenir

de l’équation de sélection par maximum de vraisemblance appliqué à un modèle Probit ou Logit.

Seul

est identifié donc on pose : 1

Estimer ( )

( )i

ii

w

w

(2) Ecrire les deux équations d’intérêt de la façon suivante :

(230 et 231)

a. Appliquer MCO aux équations en utilisant les sous-échantillons N0 et N1 et Corriger pour les erreurs-types (bootstrap). b. Puisque les 2 régimes ne sont pas observés de façon simultanée, le paramètre

0 1

n’intervient pas dans l’estimation du modèle. Dans la pratique on pose 0 1 = 0.

84

3.2. MAXIMUM DE VRAISEMBLANCE Tobit type 2 La vraisemblance du modèle Tobit type 2 s’écrit :

20 1

( )1

( )1

i i ii i

i

w y xy x

w

Où , , , sont estimés de façon jointe.

Tobit type 3 : La vraisemblance du modèle Tobit type 3 s’écrit :

2 20 1

( )1 1

( )1 1

ui i i i

i i i

u u u

h z y xz y x

Où , , , ,u sont estimés de façon jointe.

85

Tobit type 5 : La vraisemblance du modèle Tobit type 5 s’écrit :

0 1

0 1

0 0 1 10 1

0 0 0 1 1 1

0 0 0 1 1 1

2 20 1

( ) ( )1 1

( ) ( )1 1

i i i i i i

i i i i

w y x w y xy x y x

Où 0 1 0 10 1, , , , , , sont estimés de façon jointe.

Remarque Les erreur-types de l’estimateur du maximum de vraisemblance sont correctes

86

IV. APPLICATIONS : DECISION DE TRAVAILLER ET EQUATION DE SALAIRES

87

88

IV. APPLICATIONS : OFFRE DE TRAVAIL ET EQUATION DE SALAIRES

89

IV. APPLICATIONS : DECISION D’ETRE SYNDIQUE ET EFFET SUR LES SALAIRES

90


91

Variables Instrumentales et Effets Moyens de Traitement

Dr. Alban A. E. AHOURE

LECTURE 4

92

PLAN I. MOTIVATION

1.1. Effets moyens de traitement

1.2. Variables instrumentales

II. MODELES A VARIABLES ENDOGENE

BINAIRE

2.1. Régression 1

2.2. Two-Step IV

93

I. MOTIVATION

1.1. Effets Moyens de Traitement (EMT)

1.1.1. Cadre Général

La variable de traitement d est binaire et vaut 1 si l’individu est traité et 0 sinon; elle est observée.

La variable d’output y des individus est continue, et on observe y1 pour les individus qui reçoivent le traitement et y0 pour les individus qui n’en reçoivent pas. Autrement dit, pour un individu, y1 ou y0 est observé.

On note par x le vecteur de caractéristiques observées des individus (a la fois ceux qui sont traités et ceux qui ne le sont pas). 94

On s’intéresse au changement moyen de l’output d’un individu non-traité si cet individu devait être traité.Donc, l’effet moyen de traitement (EMT) dans la population est defini par :

E(y1 − y0 )

et l’effet moyen de traitement des traités (EMTT) est défini par:

E(y1 − y0 |d =1).

95

1.1.2. Hypothèse d’indépendance conditionnelle

Dans le cas où il y a randomisation (expérience contrôlée), le traitement est indépendant de la variable d’output, c’est à dire y1 , y0 ⊥ D.

En cas d’absence de randomisation, par exemple dans le cas de données observationnelles, l’hypothèse d’indépendance n’est pas satisfaite, on doit faire alors une hypothèse d’indépendance conditionnelle, c’est à dire y1 , y0 ⊥ D|x.

Si l’hypothèse d’indépendance conditionnelle est satisfaite, la variable de traitement est dite exogène et on peut appliquer les méthodes du Score de Propension et du Matching (Appariement).

Si l’hypothèse d’indépendance conditionnelle n’est pas satisfaite, la variable de traitement est dite endogène et on doit utiliser des modèles à régimes ou des modèles variables instrumentales. 96

1.2. Variables Instrumentales

1.2.1. Un Seul Instrument

Soit un modèle de régression linéaire:

Exemple: (Equation de salaires) Soit y le salaire de personnes qui travaillent à temps plein, x1 le niveau d’études (en années) et x2 le genre de ces personnes.

On peut supposer que le niveau d’études est corrélé avec des variables non-observables comme la motivation, l’intelligence, le talent etc.

0 1 1 2 2y x x (1)

où 2( / ) ( ) 0E x E mais 1( / ) 0E x

97

La variable x1 est donc dite endogène contrairement à la variable x2 qui est dite exogène. Dans ce cas, si on applique MCO à l’équation (1), β0 , β1 et β2 sont non-convergents même si E( ɛ|x2 ) = 0.

On peut résoudre ce problème de non-convergence en utilisant l’estimateur de la variable instrumentale (VI).

Dans ce cas, on a besoin d’une variable observable z1 qui est absente de l’équation (1) et qui satisfait 2 conditions.

(1)E(ɛ|z1 ) = 0

(2) E(x1|z1 ) = 0

98

Une telle variable z1 est appelée Variable Instrumentale ou Instrument et s’écrit comme :

La deuxième condition implique θ1 = 0. et la relation de l’équation (2) est appelée forme réduite. C’est à dire que la variable endogène s’écrit comme une projection linéaire de toutes les variables exogènes.

1 0 2 2 1 1x x z (2)

Où 1 2( / ) ( / ) 0E z E x

99

L’équation (1) s’appelle forme structurelle, et la forme réduite associée s’écrit :

Les paramètres α0 , α1 et α2 s’appellent paramètres réduits, β0 , β1 et β2 sont les paramètres structurels.

0 1 1 2 2y z x (3)

100

1.2.2. Instruments Multiples

Dans le cas d’instrument unique, on applique l’estimateur VI standard. Si on a plusieurs instruments pour une variable endogène, on peut utiliser l’estimateur VI standard en ignorant certains instruments, mais cet estimateur sera inefficace.

L’estimateur VI efficace s’appelle l’estimateur des 2MCO (2SLS) et est défini de la façon suivante:

(1) estimer l’équation (2) de la forme réduite, c’est à dire δ0 , δ2 et θ1 par MCO

(2) obtenir

(3) régresser

Les paramètres obtenus sont les paramètres estimés 2MCO

1 0 2 2 1 1x x z

1 1 2 1, y sur x et x

0 1 2, et

101

II. MODELES A VARIABLES ENDOGENE BINAIRE

2.1. Régression 1

2.1.1. Cadre Général

Une façon d’estimer les EMTs ou les EMTTs est d’écrire une régression où y est la variable expliquée et d la variable explicative. Pour cela, on écrit :

y = (1 − d)y0 + dy1 (4) = y0 + d(y1 − y0 )

Écrivons l’output des non- traités comme : y0 = µ0 + ν0 (5)

et celui des traités comme : y1 = µ1 + ν1 (6) 102

Si on remplace les équations (5) et (6) dans (4) on obtient la régression :

où µ1 est la moyenne de l’output des traités, µ0 est la moyenne de l’output des non traités, donc :

(µ1 − µ0 ) = EMT, et ν0 + d(ν1 − ν0 ) est la composante stochastique (aléatoire) de la régression.

Puisqu’on observe d, et y, on peut estimer l’équation (7), et donc (µ1 − µ0). Comme dans toute régression, on doit faire des hypothèses sur la composante stochastique de l’équation.

0 1 0 0 1 0( ) ( )y d d (7)

103

Par exemple, si on contrôle pour les caractéristiques (supposées exogènes) x de l’individu et qu’on fait l’hypothèse E(ν1 − ν0 |x) = 0, sous hypothèse d’indépendance conditionnelle (unconfoundeness) la variable de traitement est exogène.

Dans ce cas, appliquer MCO à l’équation (7) estime de façon convergente l’EMT.

Dans notre cas, on ne fait plus l’hypothèse d’indépendance conditionnelle, c’est-à-dire que la variable de traitement est endogène.24

104

L’intuition est que la décision d’un individu de participer à un programme de développement dépend de certaines caractéristiques non-observables de l’individu qui expliquent l’output dû au traitement.

C’est ce qu’on appelle la sélection sur les non-observables (selection on unobservables) par opposition à la sélection sur les observables (selection on observables).

Exemple: (Niveau d’études et fertilité) Supposons que la variable d’output est la fertilité (nombre d’enfants) des femmes d’un certain pays en âge d’enfanter, et que la variable de traitement est binaire prenant la valeur 1 si la femme a au moins 7 années d’études et 0 sinon.

On suppose qu’il existe des instruments collectés dans un vecteur z et que ν1 = ν0 . 105

La régression ainsi obtenue s’appelle régression à variable endogène binaire et s’écrit :

Où

y d x u (8)

(1)

(2) ( ) 0

(3) ( , ) 0

(4) ( , ) 0

(5) ( , ) 0

EMT

E u

Cov u x

Cov u d

Cov d z

106

Si il y a un seul instrument, on peut appliquer la méthode VI standard pour estimer δ, et β.

Si il y a plusieurs instruments, la méthode VI standard n’est pas efficace, dans ce cas, la méthode VI efficace est la méthode 2MCO.

107

2.2. Modèles à Variable Endogène Binaire: 2-step IV

Si on fait des hypothèses supplémentaires, on peut estimer l’EMT , δ et β de façon encore plus efficace que la méthode 2MCO.

Les hypothèses supplémentaires sont les suivantes :

P(d = 1|x, z) =P(d = 1|x)

P(d = 1|x, z) =F(x, z, γ) a une forme paramétrique connue (par exemple Probit ou Logit)

E(u|x, z) = 0

Cette méthode qui permet d’obtenir ces valeurs estimées de , δ et β de façon encore plus précise s’appelle la méthode VI en 2 étapes (2-step IV).

108

La méthode fonctionne de la façon suivante :

(1) estimer P(d = 1|x, z) =F(x, z, γ) en utilisant un modèle Probit ou Logit

(2) obtenir

(3) estimer l’équation (8) en utilisant comme instruments :

Remarques

Utiliser comme instrument de d n’est pas la même

chose qu’utiliser comme régresseur à la place de d

(1) dans le premier cas, on n’a pas besoin de corriger les erreur-types

(2) dans le second cas, il faut corriger pour les erreur-types

( , , )F F x z

1, F et x

F

F

109


110

IMPLEMENTATION SUR STATA 10.


LECTURE 5

111

IMPLEMENTATION SUR STATA 10.


LECTURE 6

112

ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET ÉVALUATION DES ADMINISTRATIONS PUBLIQUES ET

PRIVÉES

Lecture 7 :

COMPARAISON DES METHODES D’EVALUATION

Dr. Wautabouna OUATTARA

10 septembre 2009, Grand-Bassam


113

1. CADRE GENERAL

Différentes questions empiriques soulevées en Economie et dans les autres Sciences Sociales portent sur l’analyse des causalités des programmes ou politiques.

Au cours de deux dernières décennies, différents travaux en économétrie et analyse statistique ont été menés sur les effets de ces programmes ou traitements.

Des outils ont été développés pour appréhender les effets des politiques économiques au niveau microscopique ou pour analyser des causalités.

114114

PROBLEME PRINCIPAL: dans la littérature l’évaluation de l’effet de l’assignation d’un ensemble d’agents à un programme ou à un traitement.

MAIS: On ne peut à la fois “participer” et “ne pas participer” au projet au même moment Données Manquantes

SOLUTION: Construire un groupe témoin (imitateur) de participants. Ce groupe de non participants similaires aux participants est le groupe de contrôle qui sert de contrefactuel.

PRINCIPE FONDAMENTAL: Toutes les évaluations quantitatives d’impact se résument en la construction d’un groupe contrefactuel crédible: expérimentation (randomisation) vs post-évaluation (données observationnelles).

1. CADRE GENERAL

115115

2. METHODE EXPERIMENTALE: LA RANDOMISATION

Le principe général: s’approcher au mieux de la méthode de l’essai clinique. On compare des gens qui ont bénéficié d’un traitement et des gens qui n’en ont pas bénéficié. On met tout en œuvre pour que ces gens soient le plus similaire possible.

Les fondements: (1) On ne peut comparer le même individu dans deux situations différentes, tandis qu’une seule est observable.

(2) Au cours du temps, les autres facteurs peuvent changer.

(3) On peut recourir à un groupe de comparaison, mais il peut exister des différences initiales (biais de sélection ou programme administré à un groupe particulier).

La randomisation, construction du contrefactuel par assignation aléatoire des groupes de participants et non-participants au projet , permet de corriger le biais de sélection. 116116


LES METHODES DE LA RANDOMISATION

1. Méthode de loterie2. Randomisation ordonnée ou phase-in3. La randomisation within-group4. Les Plans d’Encouragement5. La stratification

LES AVANTAGES DE LA RANDOMISATION

1. Grande qualité du contrefactuel Elimination des biais de selection

2. Nécessite un petit échantillon

117117


LES LIMITES DE LA RANDOMISATION

(1) Les expériences contrôlées ne s’appliquent pas à tous les projets raisons d’ordre éthique, d’ordre pratique.

Ethique: L’identification d’un groupe de contrôle et d’un groupe test suppose que l’on choisit consciemment de ne pas « traiter » tout le monde. Comme le « traitement » est généralement une politique ou de l’aide que l’on juge a priori bénéfique, il est difficile de ne pas voir une injustice à ne pas offrir cette aide à tout le monde.

(2) La validité interne est fonction de la conception et de la mise en oeuvre: problèmes d’attrition (des individus disparaissent de l’échantillon), spillover, contamination, biais de randomisation.

James Heckman : la validité des expérimentations n’est que conditionnelle. Les résultats ne sont valables que dans le contexte de l’expérimentation (dans

le pays, sur l’échantillon traité, selon les conditions macroéconomiques, etc.) .

118118

2. METHODE EXPERIMENTALE : LA RANDOMISATION

L’opposition entre vision micro et macro. Si les méthodes empiriques des macro-économistes ont été discréditées au profit d’analyses micro plus rigoureuses et plus ciblées, les analyses globales (institutions, ouverture commerciale, etc.) n’en restent pas moins pertinentes pour expliquer le développement économique.

Deaton et Rodrik: les pays qui se sont développés récemment (et ont sorti de la pauvreté des millions d’individus) ne l’ont pas fait en s’appuyant sur une aide extérieure et encore moins sur des politiques de développement expérimentées au préalable, mais en s’ouvrant au commerce, en garantissant les droits de propriété et en luttant contre lacorruption.

Banerjee et Duflo: les expérimentations ont pu mettre en lumière l’efficacité sensiblement différente des politiques pour obtenir le même niveau d’éducation. L’enthousiasme, légitime, de ces chercheurs les a amené à considérer l’expérimentation comme l’idéal méthodologique (le « gold standard ») de l’économie empirique mais aussi comme l’espoir d’un renouveau de l’engagement citoyen et la promesse d’un monde meilleur.

119119

3. METHODES NON-EXPERIMENTALES: CADRE GENERAL

120120

3. METHODES NON-EXPERIMENTALES:

SCORE DE PROPENSION ET MATCHING (1)

Idée :

Pour chaque individu traité, il faut trouver un individu dans le groupe de contrôle qui lui est similaire dans toutes les observables et comparer les moyennes des résultats entre les deux groupes.

Sélection se fonde sur les observables

121121

(1) L’exact Matching ou Appariement (impossible si X est de grande dimension ou s’il y a des variations continues)

(2) L’appariement par le Score de Propension: Le score de propension est la probabilité (conditionnelle) de recevoir le traitement étant données les co-variables Estimer P[Di=1|Xi] par Probit ou Logit Appariement sur la base du score de propension Nécessaire si X est de grande dimension Avec ou sans remise? (Cela dépend de la taille du

groupe de comparaison) Matching à partir du voisin le plus proche, kernel

matching, stratification ou matching sur intervalles.

3. METHODES NON-EXPERIMENTALES: SCORE DE PROPENSION ET MATCHING (2)

122122

3. METHODES NON-EXPERIMENTALES: LES DOUBLES DIFFERENCES (3)

Permet d’obtenir un effet individuel qui soit indépendant du temps.

Nécessite des données avant et après le traitement Compare le groupe traité et le groupe de comparaison

dans leur différence de résultats avant et après le traitement.

En comparant les changements dans le temps des moyennes des 2 groupes, on tient compte à la fois des spécificités des groupes et des périodes Contrôler pour le trend temporel au niveau des 2 groupes.

Problème de biais d’attrition 123123

3. METHODES NON-EXPERIMENTALES: REGRESSION DISCONTINUITY DESIGN (4)

Méthode Quasi-Expérimentale dans laquelle la probabilité de recevoir le traitement est une fonction continue d’une variable à un seuil exogène.

Exemple: seuil pour recevoir un traitement

Appariement en dessous ou au dessus du seuil

124124

3. METHODES NON-EXPERIMENTALES: VARIABLES INSTRUMENTALES (5)

Qu’est-ce qui se passe si la sélection dépend de caractéristiques non observables qui peuvent être corrélées avec les non observables de l’équation d’intérêt ? Endogénéité de la variable de sélection.

Sélection sur les non–observables: le talent, l’intelligence, la motivation.

- Estimation par le MV des équations de sélection et d’intérêt avec une distribution jointe des termes d’erreurs.

- Heckman en deux étapes (Modèles à Régimes)

- 2MCO

- IV en deux étapes

125125

4. CRITERES DE CHOIX ENTRE METHODES NON EXPERIMENTALES (1)

Identifier les facteurs qui peuvent affecter le résultat et la sélection

Les facteurs communs qui affectent à la fois la sélection et le résultat qu’ils soient observables ou non.

La quantité et le type de données disponibles: plus on aura à contrôler pour des questions d’endogénéité et/ou de biais de sélection et plus on aura besoin de données.

Moins restrictives seront les hypothèses d’indépendance et plus on devra faire des hypothèses sur la forme fonctionnelle des équations de sélection et d’intérêt et sur les distributions des termes d’erreur.

126126

4. CRITERES DE CHOIX ENTRE METHODES NON EXPERIMENTALES (2)

Doubles Différences Problème: Perte d’une observation Avantage: Corrige pour les effets individuels

Regression Discontinuity Design Problème: Peu d’observations en dessous ou au

dessus du seuil Problème: Le seuil doit être exogène

127127

128

Principales démarches dans la conception et l'exécutiondes évaluations d'impactPendant l'Identification et la Préparation du Projet1. Déterminer s'il faut nécessairement effectuer une évaluation ou non2. Clarifier les objectifs de l'évaluation3. Explorer la disponibilité des données4. Concevoir l'évaluation5. Former l'équipe d'évaluation6. Si des données seront collectées :

(a) Conception et sélection des échantillons(b) Développement de l'instrument de collecte des données(c) Recruter et former le personnel de terrain(d) Réaliser l’enquête pilote(e) Collecte de données(f) Gestion et accès aux données

Pendant la Supervision du Projet7. Poursuivre la collecte des données8. Analyser les données9. Rendre compte des résultats par écrit et les discuter avec les décideurs et les bailleurs de fonds10. Incorporer les résultats à la conception du projet.

129129

Documents

Thème : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES Dr