L a déperdition au fil des trois vagues de lenquête longitudinale Erfi-GGS Arnaud Régnier-Loilier, Nelly Guisse (Institut national détudes démographiques)

La déperdition au fil des trois vagues de l’enquête longitudinale Erfi-GGS

Arnaud Régnier-Loilier, Nelly Guisse(Institut national d’études démographiques)

Colloque francophone sur les Sondages 2012 – Rennes – 5 novembre 2012, session « Panels »

Mise en place en France entre 2005 et 2011 (Ined, Insee)

Déclinaison française du Generations and Gender Survey

Thématique familiale ; 18-79 ans lors de la première vague

Objectifs :

comparaisons internationales

dimension prospective : 3 vagues espacées de 3 ans

Enquête non obligatoire

Mêmes enquêteurs sollicités aux vagues succesives

L’enquête en 3 vagues… en 3 mots

Au programme…

1) Procédure de “suivi” et nombre de répondants

2) Facteurs d’attrition entre V1 et V3

3) Accentuation ou “sélection” : facteurs d’attrition identiques entre les vagues ( V1 / V2 et V2 / V3) ?

1. Suivi et nombre de répondants aux trois vagues

Fiche de suivi à la fin de chaque vague

Nom, prénom, adresse, téléphone, personnes relais

Saisie manuelle des adresses par le SES : difficultés- pas d’outil existant

- pas toujours le prénom du répondant

Envoi de courriers de relance suite à V1 :- pour les répondants refusant le suivi

- pour ceux n’ayant pas donné de relais

Entre V1 et V3 : ~ 2 courriers / an, premiers résultats...

Le suivi entre V1 et V3

V1 2005 : 10 079 répondants- refus de poursuivre : 10 %

- NPAI répétés, décès, parti à l’étranger, en institution : 8 %

→ échantillon 2008 : 8 341 personnes

- refus de répondre : 8 %

- impossible à joindre : 6 %

- parti à l’étranger, en institution, inapte : 3 %

- répondant 2008 ≠ 2005 (42 cas)

V2 2008 : 6 534 répondants

Taux d’attrition entre V1 et V2

35 %

V2 2008 : 6 534 répondants- refus de poursuivre : 3 %

→ échantillon 2011 :

6 248 répondants à V2

- refus : 322 (5%)

- IAJ : 226 (4%)

- inapte : 117 (2%)

- hors champ : 150 (2%)

V3 2011 : 5 433 “V123”

Taux d’attrition entre V1 et V3

13 %

1 274 non répondants à V2

396 (31%)

377 (30%)

73 (6%)

80 (6%)

348 “V1-3”

V3 2011 : 5 781 répondants (ayant répondu à V1 et V3)

soit une attrition de 43 % en 6 ans

73 %

Refus de poursuivre ou autres raisons ?

~ 50 % de l’attrition (V123) s’explique par un refus de poursuivre ou de répondre à un moment donné

~ 50 % par d’autres raisons (impossible à joindre, perdu de vue, départ en institution, etc.)

Proportions semblables entre V1/V2 et V2/V3

Sur l’ensemble des 18-79 ans n’ayant répondu qu’à la vague 1, environ 1/10e de l’attrition imputable à la mortalité

2. Facteurs d’attrition entre les vagues 1 et 3

Géographie de l’attrition

Plus forte attrition (>50 %) en :

Île de France

Paca

Languedoc

Corse

Moindre attrition(<37 %) en :

Auvergne

Bretagne

Pays de la Loire

Loraine

Beaucoup d’effets “liés” : type de commune, type de logement, intention de déménager...

Régression logistique estimant la probabilité de ne pas avoir participé à la vague 3

Nombreux “essais” de modélisations pour s’assurer de la stabilité des résultats, tester des hypothèses, etc.

Résultats difficilement “présentables” : synthèse

Repérage des facteurs « toutes choses égales »

« Toutes choses égales », attrition plus forte...

... régions Île-de-France

... et Méditerranée

... des locataires

... en appartement

... ayant l’intention de déménager

Moindre attrition chez les agriculteurs, communes <5000 habitants, et les propriétaires accédants

Lieu d’habitation

(plus de refus)

(moins de refus)

(moins de refus)

(autant)

(moins de refus)

(autant)

« Toutes choses égales », attrition plus forte des...

... hommes

... âges extrêmes

... aucun diplôme

... chômeurs

... nationalités étrangères

Caractéristiques sociodémographiques

(moins de refus)

(moins de refus)

(autant)

(autant)

(autant)


... très mauvaise santé

... seules (avec ou sans enfant < 3 ans)

... absence de confidence

Santé, entourage, sociabilité

(moins de refus)

(moins de refus)

(plus de refus)


... questionnaires courts

... personnes ne souhaitant pas recevoir les résultats

... refusant de répondre à questions

→ Chez les actifs, pas d’effet du temps de travail (proxi d’une plus ou moindre grande disponibilité)

Posture par rapport à l’enquête lors de la 1ère vague

(autant)

(plus de refus)

(plus de refus)

3. D’une vague à l’autre :accentuation ou effet de

sélection ?

35 % d’attrition entre V1-V2, 17 % entre V2-V3 : effet de sélection

Mais les mêmes facteurs continuent-ils à jouer ?

Hypothèses :

→ les facteurs liés à la mobilité, à l’accès au logement, à la santé, à la posture / à l’enquête se rejouent au fil du suivi

→ moindre effet des caractéristiques individuelles : diplôme, nationalité, sexe (effet de sélection)...

Question

Deux approches :

- modélisation de la probabilité d’attrition V1/V2 et modélisation entre V2/V3 puis comparaison

→ les mêmes facteurs jouent-ils ?

- modélisation unique sur l’ensemble des répondants à V1 (10079) et à V2 (6534) de la probabilité d’avoir répondu à la vague suivante, en intégrant des interactions entre la vague et chaque variable

→ une interaction significative indique que la variable joue différemment entre V1/V2 et V2/V3

Mise en œuvre

Globalement, les mêmes facteurs se rejouent entre V2 / V3 avec une attrition plus forte pour...

- Île-de-France, intention de déménager

- refus de répondre, non intérêt pour les résultats

- mauvaise santé perçue

Moindre attrition chez les agriculteurs, communes <5000 ha

Résultats

Par contre : plus d’effet chez les non diplômés, les locataires, en région méditerranéenne ni de la longueur du questionnaire (effet de sélection)

Par contre, on retrouve le même effet entre V2 / V3...

- des plus diplômés qui répondent mieux (accentuation)

- de la nationalité (accentuation)

- de l’âge (accentuation)

- du sexe (accentuation)

Résultats

Moindre attrition entre V2 et V3 : effet de sélection après V1

Moindre qualité du modèle V2 / V3 (R²) : les facteurs expliquent moins l’attrition ? Effet de sélection ?

Mais globalement, les mêmes facteurs se rejouent d’une vague à l’autre : accentuation de la déformation de la structure de l’échantillon (sauf non diplômé, méditerranée, communes > 100 000 ha)

Au final : variance de la pondération normalisée > en V3

Résultats (synthèse)

Conclusion

Attrition relativement élevée (43 – 46 %)...

... “classiquement” moindre pour la 3e vague (sélection)

Pour moitié des refus ; difficilement récupérables en V+1

Facteurs d’attrition “classiques”...

... avec une déformation de l’échantillon qui s’accentue au fil des vagues (attrition V2/V3 non uniforme)

Conclusion

Perspectives pour d’autres opérations longitudinales :

- Importance de disposer d’au - 1 téléphone et 1 relais

- un suivi “individualisé” serait-il envisageable ? (contacts plus rapprochés pour les plus mobiles, pour ceux n’ayant pas donné de personnes-relais... ?)

- Un soin à apporter à la présentation de l’enquête pour les personnes a priori moins “concernées”

Analyses à poursuivre :

- Mesure des biais sur les variables d’intérêt

Pour en savoir plus sur l’enquête… www-erfi.ined.fr

[email protected]

Ont participé au suivi des répondants :

Ruxandra Breda-Popa (SES)Lamia Zamouri (SES)

Raphaël Laurent (SES)et ponctuellement l’ensemble du SES !

Merci à Laurent Toulemon pour ses conseils

Problème de cohérence d’unevague à l’autre de l’enquête Érfi-GGS :

l’exemple du nombre d’enfants

Arnaud Régnier-Loilier(Institut national d’études démographiques)

Colloque francophone sur les Sondages 2012 – Rennes – 5 novembre 2012, session « Panels »

3 vagues d’enquête sur 6 ans : se pose la question de la stabilité des réponses d’une vague à l’autre

“Stratégie” dans Érfi : éviter de collecter aux vagues successives des informations déjà connues (gain de temps, éviter les incohérences)...

... mais pas possible pour les enfants, leur situation pouvant changer d’une vague à l’autre

Problème de cohérence rencontré lors de l’appariement des répondants V1 – V2 : moins d’enfants en V2

Problèmatique

Détermination du nombre d’enfants dans Erfi par addition :

1) des enfants du logement

2) des enfants non cohabitants (hors logement) : {Nous avons déjà parlé des enfants vivant au sein de votre ménage.} Avez-vous adopté ou avez-vous eu vous-même {d’autres} enfants. Ne prenez pas en compte les beaux-enfants, les enfants accueillis ni les enfants aujourd’hui décédés, nous en parlerons après. Si oui : Combien?

3) des enfants décédés : Il arrive que l’on perde un enfant. Avez-vous eu d’autres enfants qui sont aujourd’hui décédés? Si oui : Combien?

Distinction des enfants placés, adoptés, beaux-enfants

Problèmatique

Pour V3 (2011) :

- Insitence en formation d’enquêteurs sur ce problème

- Inclusion d’un indicateur récapitulatif du nombre total d’enfants du répondant : Pour récapituler, combien d’enfants avez-vous eu vous-même en tout, qu’il s’agisse d’enfants eus ou adoptés, avec votre conjoint actuel ou avec un précédent conjoint ? Merci de prendre également en compte les enfants qui ne vivent plus avec vous ou qui sont aujourd’hui décédés.

Problèmatique

Au programme…

1) Confrontation des informations collectées par décompte en V1, V2 et V3 + récapitulatif en V3

2) Quels enfants sont sous-déclarés ?

3) Un profil spécifique des sous-déclarants ?

1. Confrontation des indicateurs

0

0,5

1

1,5

2

2,5

3

3,5

18-19

20-24

25-29

30-34

35-39

40-44

45-49

50-54

55-59

60-64

65-69

70-74

75-79

18-19

20-24

25-29

30-34

35-39

40-44

45-49

50-54

55-59

60-64

65-69

70-74

75-79

HOMMES FEMMES

Décompte, V3 (2011)

Nombre moyen d’enfants

Champ : répondants aux 3 vagues d’enquête

Source : Ined-Insee, Erfi-GGS 123, 2005-2011



Récapitulatif, V3 (2011)

Plus d’enfants : naissances

0,3 enfant en moins en V2 et V3

Plus d’enfants : naissances

0,3 enfant en moins en V2 et V3

Lecture : en 2005, les femmes de 25-29 ans déclarent en moyenne

0,5 enfant

Note : données non pondérées

Champ : répondants hommes aux 3 vagues d’enquête

Source : Ined-Insee, Erfi-GGS 123, 2005-2011Note : données non pondérées ; âge en 2005

Cohérence entre le décompte en V1 et le récapitulatif en V3

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

18-19

20-24

25-29

30-34

35-39

40-44

45-49

50-54

55-59

60-64

65-69

70-74

75-79

HOMMES

Autant d’enfants en V1 et d’après le récapitulatif en V3

Moins d’enfants en V3 qu’en V1

Plus d’enfants :

naissances ?

Cohérence entre le décompte en V1 et le récapitulatif en V3

Champ : répondants femmes aux 3 vagues d’enquête


0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

18-19

20-24

25-29

30-34

35-39

40-44

45-49

50-54

55-59

60-64

65-69

70-74

75-79

FEMMES

Autant d’enfants en V1 et d’après le récapitulatif en V3

Moins d’enfants en V3 qu’en V1

Plus d’enfants :

naissances ?

Au-delà de 45-50 ans, différence de

réponse < 5 %

Cohérence entre le décompte V1, V2 et V3



HOMMES0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

18-19

20-24

25-29

30-34

35-39

40-44

45-49

50-54

55-59

60-64

65-69

70-74

75-79

Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants

Plus d’enfants

Moins en V2, autant entre V2 et V3 (sur-déclaration en V1 ?)Moins en V2

Moins en V3 uniquement

Cohérence entre le décompte V1, V2 et V3



FEMMES0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

18-19

20-24

25-29

30-34

35-39

40-44

45-49

50-54

55-59

60-64

65-69

70-74

75-79

Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants

Plus d’enfants

Moins en V2, autant entre V2 et V3 (sur-déclaration en V1 ?)

Moins en V2

Moins en V3 uniquement

Moins d’enfants en V2 ou V3 dans 21 % des cas chez les

50-79 ans (âge en 2005)

Même proportion chez les femmes et les hommes

- La méthode du décompte des enfants du foyer, hors foyer et décédés en V1 est cohérente avec le nombre total d’enfants obtenu avec la question récapitulative en V3

- Sous-estimation du nombre d’enfants en V2 et V3 par la méthode du décompte (au total, 21 % après 50 ans)

- Même phénomène entre V1 et V2 ET entre V2 et V3, mais auprès de personnes différentes

- Même phénomène chez les hommes et les femmes

Conclusion intermédiaire

2. Quels enfants disparaissent ?

Hypothèses

1) enfants partis du foyer parental et non déclarés comme non cohabitants

2) sous-déclaration des enfants décédés aux vagues V+1 et V+2 (événement récent, sensible...)

3) effet enquêté : non déclaration des enfants non cohabitants

4) effet enquêteur ?

...

Qui sont les enfants perdus de vue ?

a. Faire appel à Jacques Pradel dans son émission « Perdu de vue »... mais elle n’existe plus hélas

b. En descriptif, trois étapes :

1) On se limite aux personnes de 50-79 ans (en 2005) ayant moins d’enfants en vague V+1 qu’en V (n = 206 et 311)

2) Décomposition du nombre total d’enfants en 3 composantes : cohabitants, hors ménage, décédés

3) Confrontation de chaque “type” d’enfants entre V1-V2 et V3

Les enfants sous-déclarés en vague 3

0 1 2 3 4 et + Total0123

4 et +Total 206

Nombre d'enfants hors ménage en 2005 / 2008

Nombre d'enfants

hors ménage en 2011

Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants

Nombre de cas avec moins d’enfants de ce type en V3Nombre de cas avec plus d’enfants de ce type en V3

Exemple pour les enfants hors ménages

Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206)



0 1 2 3 4 et + Total0 131 12 13 2

4 et + 1Total 206


Nombre d'enfants








0 1 2 3 4 et + Total0 131 0 12 0 0 13 0 0 0 2

4 et + 0 0 0 0 1 1Total 13 206

Nombre d'enfants









0 1 2 3 4 et + Total0 13 54 78 34 18 1971 0 1 1 1 0 32 0 0 1 1 0 23 0 0 0 2 1 3

4 et + 0 0 0 0 1 1Total 13 55 80 38 20 206


Nombre d'enfants





2 résultats :

1) 91 % des sous-déclarants en V3 ont déclaré moins d’enfants non cohabitants en V3

2) parmi ces 91 %, 89 % sont passés de n enfants en 2005-2008 à 0 enfant non cohabitant en 2011




Exemple pour les enfants décédés



2 résultats :

1) 95 % des sous-déclarants en V3 ont déclaré autant d’enfants décédés en V3

2) 3 % des sous-déclarants en V3 ont déclaré moins d’enfants décédés en V3

0 1 2 3 Total0 184 6 0 0 1901 2 12 0 1 152 0 1 0 0 13 0 0 0 0 0

Total 186 19 0 1 206

Nombre d'enfants





0 1 2 3 4 et + Total0 15 81 110 51 23 2801 0 5 6 0 0 112 0 1 2 1 2 63 0 1 0 4 7 12

4 et + 0 0 0 0 2 2Total 15 88 118 56 34 311

Nombre d'enfants hors ménage en 2005

Nombre d'enfants


En vague 2, même phénomène :

1) 90 % des sous-déclarants en V2 ont déclaré moins d’enfants non cohabitants en V2

2) parmi ces 90 %, 85 % sont passés de n enfants en 2005 à 0 enfant non cohabitant en 2008

Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V2 (n=311)


- La sous-déclaration des enfants tient principalement à la disparition de l’ensemble des enfants non cohabitants d’une personne

- Légère sous-déclaration des enfants décédés

- Autre cas possibles repérés : sur-déclaration des enfants en vague 1 (un même enfant est déclaré comme appartenant au logement et comme non cohabitant)

- Quelques rares cas de beaux-enfants déclarés comme enfants du répondant en vague 1, pas dans les autres

Conclusion intermédiaire

3. Profil des sous-déclarants

Modélisation de la probabilité d’avoir sous-déclaré vs autant

Caractéristiques individuelles : sexe, âge, niveau de diplôme

Posture par rapport à l’enquête : refus de répondre au revenu, d’enregistrer les questions sensibles, refus de recevoir les premiers résultats, présence d’un tier pendant l’entretien

Évènement vécu entre les vagues : séparation

Nombre d’enfants des différents types en 2005 : cohabitant, non cohabitant, décédés

Présence d’enfants avec qui le lien est rompu : + interaction avec le sexe du répondant

Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré autant ou moins d’enfants à une vague (n = 2010)


Résultats de la modélisation

Aucun effet des caractéristiques individuelles, de la posture par rapport à l’enquête, du fait de s’être séparé

Mais sous-déclaration plus forte si :

- présence d’enfants décédés en V1

- au moins 1 enfant non cohabitant en V1 (pas d’effet du nombre)

- présence d’enfants avec qui le lien est rompu en V1

... avec un effet significatif de l’interaction avec le sexe (joue uniquement chez les hommes)

- Méthode de décompte des enfants cohabitants, hors ménage et décédés correcte, mais en V1 uniquement

- Importante sous-déclaration des enfants non cohabitants en V2 et V3 (21 % chez les 50 ans et plus ; - 0,3 enfant en moyenne en V2, et également en V3)

- Même phénomène entre V1-V2 et entre V2-V3 malgré formation accrue des enquêteurs

- Même effet chez les hommes et les femmes

Conclusion

- Pas de profil-type des sous-déclarants sauf le “type” d’enfants qu’ils ont en V1

- Quelle(s) interprétation(s) possible(s) ?

- Effet enquêteur ? (a priori non ; phénomène très “réparti”)

- Effet panel, avec une stratégie d’évitement de blocs de questions de la part de certains répondants ?

- Effet panel, avec une impression que rien n’a changé à ce niveau depuis la vague précédente ?

Conclusion

- Pour faire le lien avec la présentation précédente : pas d’effet de la sous-déclaration entre V1 et V2 sur la probabilité d’avoir répondu à V3...

Ne plaide pas en faveur de l’hypothèse d’une stratégie d’évitement de la part des enquêtés “lassés”...

Le mystère reste entier... Toutes idées d’interprétation bienvenues

Conclusion

Pour en savoir plus sur l’enquête…

www-erfi.ined.fr

[email protected]

Pas de complément d’échantillon en V2 ni V3

Risque de déformation de la structure de l’échantillon

Utile pour le calcul de redressements, pondérations

Question des biais éventuels (si les non répondants ont des caractéristiques sépcifiques)

“Enseignement” pour d’autres enquêtes longitudinales

Étudier l’attrition : pourquoi ?

Taux d’attrition par âge à la ...

Âge, sexe et vague

vague 2, hommes

vague 3, hommes

vague 2, femmes

vague 3, femmes

0

10

20

30

40

50

17 22 27 32 37 42 47 52 57 62 67 72 77 82

Age

(%)

Documents

L a déperdition au fil des trois vagues de lenquête longitudinale Erfi-GGS Arnaud Régnier-Loilier, Nelly Guisse (Institut national détudes démographiques)