MÉTHODES NON EXPÉRIMENTALES

Marie-Hélène Cloutier(Merci à Markus Goldstein pour la présentation)

OBJECTIF

• Toute méthode non expérimentale est associée à une hypothèse

• Trouver un contrefactuel plausible

• Plus l’hypothèse est forte, plus l’évaluation est faible

VÉRIFIER LA VALIDITÉ DES HYPOTHÈSES

Examen objectif

PROGRAMME À ÉVALUER Programme de lutte contre le HIV/SIDA de Hopetown

(2008-2012)

Objectifs Réduire la transmission du VIH

Intervention : éducation par les pairs

Groupe cible : jeunes de 15 à 24 ans

Indicateur : taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)

I. STRATÉGIE D’IDENTIFICATION AVANT-

APRÈSContrefactuel :

Taux de grossesse observé avant le début du programme

EFFET = Après moins Avant

I. STRATÉGIE D’IDENTIFICATION AVANT-

APRÈSContrefactuel :

Taux de grossesse observé avant le début du programme

EFFET = Après moins Avant

Année Nombre de domaines

Taux de grosse des adolescentes (pour 1 000)

2008 70 62,90

2012 70 66,37

Différence +3,47

HYPOTHÈSE DU CONTREFACTUELpas de changement au fil du temps

62,966,37

50

55

60

65

70

2008 2012

Gro

sses

se d

es a

dole

scen

tes

(pou

r 1

000)

Effet = +3,47

Intervention

Question : quel autre événement survenu entre 2008 et 2012 aurait pu influer sur la grossesse des adolescentes ?

Nombre de domaines

Taux de grossesse des adolescentes (pour 1 000)

2004 2008 2012

70 54,96 62,90 66,37

VÉRIFIER LA VALIDITÉ DE L’HYPOTHÈSE

à la lumière des données antérieures

REJET de l’hypothèse du contrefactuel selon laquelle il n’y a pas de changement au fil du

temps

II. STRATÉGIE D’IDENTIFICATION DES NON-

PARTICIPANTESContrefactuel :

Taux de grossesse parmi les non-participantes

Taux de grossesse des adolescentes (pour 1000)

en 2012

Participantes 66,37

Non-participantes 57,50

Différence +8,87

HYPOTHÈSE DU CONTREFACTUELParticipantes avant l’intervention affichent le

même taux de grossesse que les non-participantes

66,4

57,5

40

60

80

100

2008 2012

Gro

sses

se d

es a

do

lesc

ente

s(p

ou

r 10

00)

Effet = +8,87

Participantes

Non-participantes

Question : quelle pourrait être la différence entre participantes et non-participantes ?

VÉRIFIER LA VALIDITÉ DE L’HYPOTHÈSE

à la lumière des données sur la situation antérieure au programme

62,9 66,4

46,37

57,5

40

50

60

70

80

2008 2012

Gro

sses

se d

es

ado

lesc

ente

s(p

ou

r 10

00)

?

REJET de l’hypothèse du contrefactuel selon laquelle les taux de grossesse sont identiques

III. STRATÉGIE D’IDENTIFICATION DE LA DOUBLE DIFFÉRENCE

Contrefactuel :

1.Taux de grossesse des non-participantes, tenant compte des différences liées à la situation antérieure au programme entre participantes et non-participantes

2.Taux de grossesse « Avant » , tenant compte des changements avant-après chez les non-participantes

1 et 2 s’équivalent

Taux moyen de grossesse des

adolescentes en

2008 2012 Difference (2008-2012)

Participantes (P) 62.90 66.37 3.47

Non-participantse (NP) 46.37 57.50 11.13

Difference (P=NP) 16.53 8.87 -7.66

III. STRATÉGIE D’IDENTIFICATION DE LA DOUBLE DIFFÉRENCE

62,9 66,4

46,37

57,5

40

50

60

70

80

2008 2012

Gro

ss

es

se

de

s a

do

les

ce

nte

s

(po

ur

1 0

00

)

57,50 – 46,7 = 11,13

66,37 – 62,90 = 3,47

Non-participantes

Participantes

Effet = 3.47 – 11.13 = - 7.66

III. DOUBLE DIFFÉRENCE(1) Non-partcipantes

tenant compte de l’avant-après

62,9 66,4

46,37

57,5

40

50

60

70

80

2008 2012Gro

sses

se d

es a

do

lesc

ente

s

(po

ur

1 00

0)

AprèsAvant

62.90 – 46.37 = 16.53

66.37 – 57.50 = 8.87

Effet = 8.87 – 16.53 = - 7.66

III. DOUBLE DIFFERENCE(1) Avant-après

tenant compte de la participation

62,9 66,4

46,37

57,5

40

50

60

70

80

2008 2012Gro

ss

es

se

de

s a

do

les

ce

nte

s

(po

ur

1 0

00

)

74,0

16,5

III. DOUBLE DIFFERENCE

62,9 66,4

46,37

57,5

40

50

60

70

80

2008 2012Gro

ss

es

se

de

s a

do

les

ce

nte

s

(po

ur

1 0

00

)

74,0

III. DOUBLE DIFFERENCE

-7,6

HYPOTHÈSE DU CONTREFACTUEL

Question : pourquoi les tendances des participantes pourraient-elles différer de celles des non-participantes ?

En l’absence de l’intervention, le taux de grossesse des participantes et celui des non-participantes suivent les mêmes tendances

VÉRIFIER LA VALIDITÉ DE L’HYPOTHÈSE

à la lumière des données sur la situation antérieure au programme

REJET de l’hypothèse du scénario fictif selon laquelle les tendances sont identiques

Taux moyen de grossesse des adolescentes

2004 2008 Difference (2004-2008)

Participantes (P) 54.96 62.90 7.94

Non-participantes (NP) 39.96 46.37 6.41

Difference (P=NP) 15.00 16.53 +1.53 ?

IV. APPARIEMENT (MATCHING) ET DOUBLE-DIFFÉRENCE

Scénario hypothétique :

Le groupe de référence est constitué en appariant chaque participante au programme à une non-participante « similaire »

Minimiser les différences au niveau du vecteur des caractéristiques observées entre participantes et non-participantes

• De façon paramétrique (appariement des scores de propension)

• De façon non paramétrique

HYPOTHÈSE DU CONTREFACTUEL

Question : dans quelle mesure les participantes pourraient-elles être différentes des non-participantes auxquelles elles sont appariées?

Les caractéristiques non observées n’influencent pas les résultats souhaités

Participante

HYPOTHÈSE DU CONTREFACTUEL

Effet = 8.87 – 16.53 = - 7.66

2008 201250

52

54

56

58

60

62

64

66

68

62.9

66.37

55.63

64.25

Non-participantes appariées

Après = 2.12

Avant = - 7.27

VÉRIFIER LA VALIDITÉ DE L’HYPOTHÈSE

à la lumière des données expérimentales

REJET de l’hypothèse du contrefactuel

Effectuer une méta-analyse des études en s’appuyant sur les données expérimentales pour évaluer, en recourant à l’appariement, la distorsion des effets estimés :

Les caractéristiques non observées sont importantes!

Le sens de la distorsion est imprévisible!

V. STRATÉGIE D’IDENTIFICATION DE LA DISCONTINUITÉ DE LA

RÉGRESSION (ANALYSE DE SEUIL)

Applicabilité :

Lorsque l’admissibilité repose sur des critères quantitatifs stricts

Contrefactuel:

Les non-participantes se trouvant immédiatement en dessous du seuil d’admissibilité servent de référence pour les participantes se situant au-dessus dudit seuil

HYPOTHÈSE DU CONTREFACTUEL

Question : la distribution autour du seuil d’admissibilité est-elle lisse?

Si oui, l’hypothèse est raisonnable

Cependant, elle permet d’évaluer uniquement l’incidence autour du seuil et non en ce qui concerne l’ensemble du programme

Les non-participantes se trouvant tout juste au-dessous du seuil d’admissibilité ne sont pas différentes des participantes se situant immédiatement au-dessus dudit seuil

EXEMPLE : EFFET DES RESSOURCES SCOLAIRES SUR LES RÉSULTATS DES

TESTS• Cibler le transfert vers les écoles les plus pauvres• Établir un indice de la pauvreté sur une échelle allant

de 1 à 100• Les écoles ayant une note <=50 sont retenues• Les écoles ayant une note >50 sont exclues• Transfert des ressources vers les écoles pauvres• Mesurer les résultats (c’est-à-dire les notes obtenues

aux tests) avant et après le transfert

6065

7075

80O

utco

me

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Baseline

6065

7075

80O

utco

me

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Baseline

Non-Poor

Poor

6570

7580

Out

com

e

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Post Intervention

6570

7580

Out

com

e

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Post Intervention

Effet du traitement

RÉSUMÉ• La randomisation offre « l’étalon d’or» – elle

n’a pas besoin d’hypothèses et ses estimations sont toujours précises

• Les méthodes non expérimentales requiert des hypothèses – pouvez-vous vous en accommoder ?