Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non...

Introduction to Impact Evaluation trainingHSRC, Pretoria, South AfricaApril 10, 2008

Méthodes non Expérimentales

Florence KondylisFlorence KondylisInitiative pour l’évaluation de l’impact en Initiative pour l’évaluation de l’impact en

Afrique (AIM)Afrique (AIM)

Introduction aux méthodologies d’évaluation de l’impact – Dakar, Sénégal

Décembre 2008

2

Objectif

• Trouver un scénario hypothétique (contre factuel) plausible

• Toute méthode non expérimentale est associée à une hypothèse

• Plus valide l’hypothèse, plus fiable l’évaluation

QUESTIONNER L’HYPOTHÈSE

Examen objectif

3

Programme à évaluer

Programme de lutte contre le HIV/SIDA de Hopetown (2008-2012)

Objectif : Réduire la transmission du VIH

Intervention : Education par les pairs

Groupe cible : Jeunes de 15 à 24 ans

Indicateur : Taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)

4

I. Stratégie d’identification avant-après

Contre factuel :

Le changement du taux de grossesse observé avant-après le programme peut être entièrement attribué au programme

EFFET = Après moins Avant

5

Année Nombre de domaines

Taux de grosse des adolescentes (pour 1 000)

2008 70 62,90

2012 70 66,37

Différence +3,47

6

62.966.37

50

55

60

65

70

2008 2012

Gro

sses

se d

es a

do

lesc

ente

s (p

ou

r 1

000)

Effet = +3,47

Intervention

Pas d’autre changement au fil du temps?

Question : quel(s) autre(s) événement(s) survenu(s) entre 2008 et 2012 aurai(en)t pu influer sur la grossesse des adolescentes ?

7

Vérifier la validité de l’hypothèse à l’aide des données antérieures

Nombre de domaines

Taux de grossesse des adolescentes (pour 1 000)

2004 2008 2012

70 54,96 62,90 66,37

ÉCARTER l’hypothèse du contre factuel selon laquelle il n’y a pas de changement

au fil du temps ??

8

II. Stratégie d’identification des non-participantes

Contre factuel :

Les participantes n’ayant bénéficié d’aucune intervention (contre factuel) affichent le même taux de grossesse que les non-participantes avant le début du programme.

EFFET = Participantes moins

Non-Participantes

9

La Différence « après »

Taux de grossesse des adolescentes (pour 1 000)

en 2012

Participantes 66,37

Non-participantes 57,50

Différence +8,87

10

La Différence « après »

66.4

57.5

40

60

80

100

2008 2012

Gro

sses

se d

es a

do

lesc

ente

s(p

ou

r 10

00)

Effet = +8,87

Participantes

Non-participantes

Question : quelle pourrait être la différence, ex ante, entre participantes et non-participantes ?

11

Vérifier la validité de l’hypothèseà l’aide des données antérieures

?62.9

66.4

46.37

57.5

40

50

60

70

80

2008 2012

Gro

sses

se d

es

ado

lesc

ente

s(p

ou

r 10

00)

ÉCARTER l’hypothèse du contre factuel selon laquelle les taux de grossesse sont identiques ??

12

III. Stratégie d’identification de la double différence

Contre factuel :

Taux de grossesse des non-participantes après le programme, en tenant compte des différences initiales entre participantes et non-participantes

13

Questionner l’hypothèse de l’analyse contre factuelle

Examen Objectif de la validité de l’hypothèse :

L’évolution du taux de grossesse des participantes au cours du temps pourrait-elle différer de celles des non-participantes ?

En l’absence de l’intervention, le taux de grossesse des participantes et celui des non-participantes suivent les mêmes tendances

14

Taux moyen de grossesse des

adolescentes en

2008 2012 Différence (2008-2012)

Participantes (P) 62,90 66,37 3,47

Non-participantes (NP) 46,37 57,50 11,13

Différence (P=NP) 16,53 8,87 -7,66

Différences participantes/non-participantes, avant/après

15

62.966.4

46.37

57.5

40

50

60

70

80

2008 2012

Gro

ss

es

se

de

s a

do

les

ce

nte

s

(po

ur

1 0

00

)

57,50 – 46,7 = 11,13

66,37 – 62,90 = 3,47

Non-participantes

Participantes

Effet = 3,47 – 11,13 = - 7,66

16

62.966.4

46.37

57.5

40

50

60

70

80

2008 2012Gro

ss

es

se

de

s a

do

les

ce

nte

s

(po

ur

1 0

00

)

74,0-7,6

Projection de la différence en l’absence du traitement

17

Mettre en doute l’hypothèse du contre factuel selon laquelle les tendances sont identiques ??

Taux moyen de grossesse des adolescentes

2004 2008 Différence (2004-2008)

Participantes (P) 54,96 62,90 7,94

Non-participantes (NP) 39,96 46,37 6,41

Différence (P=NP) 15,00 16,53 +1,53 ?

Vérifier la validité de l’hypothèse à l’aide des données antérieures

18

IV. Appariement (« matching ») et la divergence dans la différence (double différence)

Intuition Méthodologique :

Le groupe de référence est constitué en appariant chaque participante au programme à une non-participante « similaire »

→ Minimiser les différences au niveau des caractéristiques observéescaractéristiques observées entre participantes et non-participantes

Note: Caractéristiques non-observées ne sont• Pas mesurées par les données

• Pas mesurables (capacités intellectuelles…)

19

Hypothèse du contre factuel

Examen Objectif de la validité de l’hypothèse : Dans quelle mesure les participantes pourraient-elles être différentes des non-participantes auxquelles elles sont appariées ?

Les caractéristiques non observées n’influencent pas les résultats qui nous intéressent (effet du programme)

20

56

58

60

62

64

66

68

70

72

74

76

2008 2012Tau

x d

e g

ross

esse

des

ad

ole

scen

tes

(po

ur

1000

)

73,36

66,37

Non-participante appariée

Participante

Effet = - 7,01

21

Vérifier la validité de l’hypothèse à l’aide des données antérieures

Considérer avec soin le rôle des caractéristiques non-observables

Certaines études ont pu comparer les méthodes expérimentales et non-expérimentales trouvent que

>> Les caractéristiques non observées sont importantes>> Le sens de la distorsion est imprévisible

22

V. Stratégie d’identification de la discontinuité de la régression

Applicabilité :

Lorsque l’admissibilité repose sur des critères quantitatifs stricts que les candidats ne peuvent pas influencer pour leur bénéfice

Scénario hypothétique :

Les non-participantes se trouvant immédiatement en dessous du seuil d’admissibilité servent de référence pour les participantes se situant juste au-dessus dudit seuil

23

Hypothèse du contre factuel

Examen Objectif de la validité de l’hypothèse :

Données antérieures: La distribution du nombre d’observations et de l’indicateur autour du seuil d’admissibilité est-elle harmonieuse ?

Si oui, l’hypothèse est raisonnable

! Evalue uniquement l’incidence autour du seuil et non pour l’ensemble de la distribution !

Les non-participantes se trouvant tout juste au-dessous du seuil d’admissibilité ne sont pas vraiment différentes des participantes se situant immédiatement au-dessus dudit seuil (non-observables

24

• Cibler le transfert vers les écoles les plus pauvres• Établir un indice de la pauvreté sur une échelle

allant de 1 à 100• Les écoles ayant une note <=50 sont retenues• Les écoles ayant une note >50 sont exclues• Transfert des ressources vers les écoles pauvres• Mesurer les résultats (c’est-à-dire les notes

obtenues aux tests) avant et après le transfert

Exemple : Effet des ressources scolaires sur les résultats des tests

25

6065

7075

80O

utco

me

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Baseline

26

6065

7075

80O

utco

me

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Baseline

Non-Poor

Poor

27

6570

7580

Out

com

e

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Post Intervention

28

6570

7580

Out

com

e

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Post Intervention

Effet du traitementEffet du traitement

29

• La sélection aléatoire offre l’exemple idéal– pas d’hypothèses– pas toujours faisable

• La méthode non expérimentale requiert des hypothèses– Sont-elles raisonnables ? Peut-on les tester ?– Souvent on manque de données…

• Nous n’avons pas couvert :– Les variables instrumentales– La mise en œuvre graduelle (« pipeline »)

Conclusion