LE PARADOXE DE SIMPSON

Pré-requis : pourcentages

I. Les calculs rénaux ............................................................................................................................... 2

I.1 What ? .................................................................................................................................................. 2

I.2 Une étude sur des traitements contre les calculs rénaux ........................................................................ 2

II. D'autres exemples .............................................................................................................................. 5

II.1 Fumer est bon pour la santé ................................................................................................................. 5

II.2 Discrimination sexuelle dans une université ? ...................................................................................... 6

II.3 Trois exemples divers : notes d'élèves, taux de mortalité et accidents de la route .................................. 6

II.4 Des condamnations racistes aux U.S.A. dans les années 1970 ............................................................. 7

II.5 Statistiques sportives : qui est le meilleur joueur ? ............................................................................... 7

II.6 Statistiques politiques et citoyennes : le Civil Right Act ....................................................................... 8

III. Quand le paradoxe se produit-il ? ..................................................................................................... 8

III.1 Explication mathématique .................................................................................................................. 8

III.2 Explication statistique ........................................................................................................................ 8

IV. Comment se prémunir du paradoxe de Simpson ? ............................................................................. 9

V. D'autres paradoxes statistiques ........................................................................................................ 10

V.1 Salaires qui baissent mais qui augmentent… Syndicats VS patronat ................................................. 10

V.2 Sondage : le paradoxe du nombre moyen d'enfants ............................................................................. 10

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 1 sur 10

2NDE-DM

I. Les calculs rénauxI. Les calculs rénauxI.1I.1 WhatWhat ??

Les calculs rénaux, communément appelés « pierres aux reins », sont des cristaux durs qui se forment dans les reins etpeuvent entraîner de vives douleurs. Les médecins utilisent le terme lithiase urinaire pour désigner ces cristaux, qui peuventaussi se retrouver dans le reste de l'appareil urinaire : dans la vessie, l'urètre ou les uretères.

Dans près de 90 % des cas, les calculs urinaires se forment à l'intérieur d'un rein. La plupart d'entre eux (80%) s'éliminentspontanément en passant à travers les divers conduits du système urinaire et n'entraînent que peu de symptômes. Cependant, les uretères, situés entre les reins et la vessie, sont des conduits de très petit calibre. Un calcul formé dans le rein, quiest en transit vers la vessie, peut facilement obstruer un uretère et ainsi causer de vives douleurs.

Les calculs rénaux sont très fréquents, et leur prévalence semble avoir augmenté au cours des 30 dernières années. De 5 % à10 % des individus vivront une crise de colique néphrétique au cours de leur vie. Les calculs rénaux surviennent plusfréquemment dans la quarantaine. Ils sont 2 fois plus fréquents chez l'homme que chez la femme.

Les calculs sont le résultat de la cristallisation de sels minéraux et d'acides présents en trop forte concentration dans l'urine. Le plus souvent, ils sont dus à un manque de dilution des urines, c'est-à-dire à une consommation trop faible d'eau. Une alimentation déséquilibrée, trop riche en sucre ou en protéines, peut également être en cause.

Plus rarement, une infection, certains médicaments, une maladie génétique ou métabolique (diabète) peuvent entraîner laformation de calculs urinaires.

Source : http://www.passeportsante.net/fr/Maux/Problemes/Fiche.aspx?doc=lithiase_urinaire_pm

I.2I.2 Une étude sur des traitements contre les calculs rénauxUne étude sur des traitements contre les calculs rénaux

En 1986, C. Charig, D.Webb, S. Payne et J. Wickham publient dans la revue British Medical Journal unarticle titré « Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, andextracorporeal shockwave lithotripsy1 », c'est-à-dire :

« Comparaison du traitement des calculs rénaux par chirurgie ouverte2,néphrolithotomie percutanée3 et lithotripsie extracorporelle par ondes de choc4 ».

En voici des extraits :

This study was designed to compare different methods of treating renal calculi in order to establishwhich was the most cost effective and successful. Of 1052 patients with renal calculi, 350 underwentopen surgery, 350 percutaneous nephrolithotomy, 328 extracorporeal shockwave lithotripsy (ESWL),and 24 both percutaneous nephrolithotomy and ESWL. Treatment was defined as successful if stoneswere eliminated or reduced to less than 2 mm after three months. Success was achieved in 273 (78%)patients after open surgery, 289 (83%) after percutaneous nephrolithotomy, 301 (92%) after ESWL, and15 (62%) after percutaneous nephrolithotomy and ESWL. Comparative total costs to the NHS wereestimated as 3500 pounds for open surgery, 1861 pounds for percutaneous nephrolithotomy, 1789pounds for ESWL, and 3210 pounds for both ESWL and nephrolithotomy. ESWL caused no blood lossand little morbidity and is the cheapest and quickest way of returning patients to normal life.

1. Quel est l'objectif principal de l'étude ?

2. Après la lecture du premier extrait, quel vous semble être le meilleur traitement ?

1 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1339981/pdf/bmjcred00227-0031.pdf2 Chirurgie « classique » : en ouvrant le ventre.3 Le calcul rénal est situé dans les cavités du rein.

La néphrolithotomie percutanée consiste à introduire directement dans le rein à travers la peau et la paroi du dos un appareil qui permet de voir, de fragmenter et d'enlever le ou les calculs. Cette intervention nécessite habituellement une anesthésie générale et une hospitalisation de 4 à 5 jours au total.

4 Méthode qui permet de fragmenter le calcul grâce à des ondes de chocs. Les ondes de choc sont générées par un lithotripteur au sein d'une tête de traitement. Le contact de la tête de traitement avec la peau du patient permet de propager et de focaliser les ondes de chocs, à l'intérieur du corps humain, jusqu'au calcul.Le calcul est ainsi réduit en un très grand nombre de fragments qui sont ensuite éliminés par les voies naturelles.

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 2 sur 10

With any new and capitally expensive treatment three questions need to be answered : what is thedifference in mortality? What is the difference in morbidity? Which mode of treatment is the most costeffective? We tried to define the current place of extracorporeal shockwave lithotripsy (ESWL) in themanagement of renal calculi by comparing 350 cases of open stone removal, 350 cases of percutaneousnephrolithotomy, and 352 cases of ESWL. All patients were treated by the same team of surgeonsunder the direct supervision of one consultant. Patients in all groups were treated consecutively over 14years (open surgery from 1972 to 1980, percutaneous nephrolithotomy from 1980 to 1985, and ESWLin 1985).

3. Quelle est la motivation principale des auteurs de l'étude ?

4. Cette étude vous semble-t-elle sérieuse ? Argumenter.

Concentrons-nous sur la chirurgie ouverte (traitement A) et la néphrolithotomie percutanée (traitement B).

On peut lire dans l'étude :

For the purpose of this study all details of patients were assessed three months after treatment. The procedures were defined as successful if patients were free of stones at three months or, in the caseof ESWL, if stones had been fragmented into particles of less than 2 mm. For each type of treatmentthe patients were considered in two groups: group 1 were those with stones of a mean diameter of lessthan 2 cm and group 2 those with stones of a mean diameter of 2 cm or more or with multiple stones.

Dans l'étude, les auteurs donnent les résultats suivants :

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 3 sur 10

Après quelques calculs, on obtient donc le tableau suivant :

5. a) Si un patient a des petits calculs, quel traitement fonctionne le mieux ?

b) Et si le patient a de gros calculs ?

c) Finalement, quel traitement semble le meilleur ?

6. Compléter la ligne Total.Quel traitement semble le meilleur ?

Il n'y a aucune entourloupe statistique ou aucune manipulation, ce que vous lisez là, c'est bien la réalité des chiffres. Vous avez là un bel exemple de ce qu'on appelle un paradoxe de Simpson.

Le paradoxe de Simpson ou effet de Yule-Simpson est un paradoxe statistique décrit par Edward H.Simpson en 1951, mais les statisticiens Karl Pearson (1899) et Udny Yule (1903) avaient mentionné desfaits similaires dans lesquels un phénomène observé de plusieurs groupes semble s'inverser lorsque lesgroupes sont combinés. Ce résultat qui semble impossible au premier abord est lié à des éléments qui ne sont pas pris en compte(comme la présence de variables non-indépendantes ou de différences d'effectifs entre les groupes, etc.).Il est souvent rencontré dans la réalité, en particulier dans les sciences sociales et les statistiquesmédicales. Le terme paradoxe de Simpson a été introduit en 1972 par Colin R. Blyth.

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 4 sur 10

II. D'autres exemplesII. D'autres exemplesII.1II.1 Fumer est bon pour la santéFumer est bon pour la santé

Dans les années 1970, les femmes d'un village de Wickham (ville près de Newcastle en Angleterre) ontparticipé à une étude5 : 1314 femmes ont été suivies pendant 20 ans, et l'objectif était de comparer le tauxde mortalité des fumeuses et des non-fumeuses.

Après 20 ans, le taux de mortalité chez les fumeuses était de 24%, celui des non-fumeuses était 31%. Alors, est-ce que ne pas fumer tue ?!

En réalité, il y avait 582 fumeuses et 139 sont mortes (soit 24%), ainsi que 732 non-fumeuses dont 230sont mortes (soit 31%)… Mais en séparant par classe d'âge :

Dans chaque tranche la mortalité chez les fumeuses a été supérieure à celle des non-fumeuses. On est rassurés, mais comment les chiffres peuvent-ils s'inverser quand on groupe tout le monde ?

Dans la population initiale, il y avait plus de femmes âgées chez les non-fumeuses que chez les fumeuses.Même si dans chaque tranche d'âge les non-fumeuses meurent moins, cet effet est compensé par le fait quela tranche d'âge « élevée » est sur-représentée chez les non-fumeuses, qui donc en moyenne meurent plus !

Source : https://sciencetonnante.wordpress.com/2013/04/29/le-paradoxe-de-simpson/

5 D. Appleton, J. French et M. Vanderpump. « Ignoring a covariate: An example of Simpson's paradox. » The American Statistician 50.4 (1996): 340-341.

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 5 sur 10

II.2II.2 Discrimination sexuelle dans une universitéDiscrimination sexuelle dans une université ??

Source : Tangente Hors-Série n°49, Les maths de l'impossible

II.3II.3 Trois exemples diversTrois exemples divers : notes d'élèves, taux de mortalité et accidents de la route: notes d'élèves, taux de mortalité et accidents de la route

Source : J.-P. Delahaye, Pour la Science - n° 429 - Juillet 2013

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 6 sur 10

II.4II.4 Des condamnations racistes aux U.S.A. dans les années 1970Des condamnations racistes aux U.S.A. dans les années 1970

Le 11 mars 1979, le New York Times publie les données concernant 4764 homicides perpétrés en Florideentre 1973 et 1979. Les variables considérées sont la couleur de peau du meurtrier (blanc ou noir) et lacondamnation à la fin du jugement (peine de mort ou non). Les chiffres en question étaient les suivants :

L'idée était de savoir qui des blancs ou des noirs étaient le plus souvent condamnés à mort et, plusgénéralement, s'il y avait un problème de racisme dans la justice américaine.Un calcul rapide amène à 3,19 % des meurtriers blancs qui sont condamnés à mort, contre 2,35 % desmeurtriers noirs qui sont condamnés à mort.Les meurtriers blancs sont donc aussi sévèrement punis que les meurtriers noirs... La justice américaine n'était donc pas raciste ?

Quand on a une vague idée du contexte aux États-Unis dans les années 1970, on peut en douter !Et si on reprenait le tableau initial en distinguant la couleur de peau de la victime :

Si la victime est blanche :3,36 % des meurtriers blancs sont condamnés à mort ( 72÷2146 ).16,72 % des meurtriers noirs sont condamnés à mort ( 48÷287 ).Donc les meurtriers noirs sont beaucoup plus sévèrement punis que les meurtriers blancs.

Si la victime est noire :0 % des meurtriers blancs sont condamnés à mort ( 0÷111 ).0,48 % des meurtriers noirs sont condamnés à mort ( 11÷2310 ).Donc les meurtriers noirs sont légèrement plus sévèrement punis que les meurtriers blancs.

… en cachant une variable, l'interprétation des chiffres peut mener bien loin de la réalité.

Source : http://www.cahiersdufootball.net/article-limites-et-distorsions-statistiques-5841

II.5II.5 Statistiques sportivesStatistiques sportives : qui est le meilleur joueur: qui est le meilleur joueur ??

Un autre exemple célèbre est donné par les statistiques de réussite au baseball.

En 1995, le taux de succès du batteur David Justice a été meilleur que celui de son adversaire Derek Jeter(25,3 % contre 25,0 %). L'année suivante, en 1996, même résultat : Justice surpasse Jeter par 32,1 % contre 31,4 %.

Et pourtant, si on combine l'ensemble des deux années 1995 et 1996 :Derek Jeter a été le meilleur avec 31 % contre 27 % !

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 7 sur 10

II.6II.6 S Statistiques politiques et citoyennestatistiques politiques et citoyennes : le Civil Right Act: le Civil Right Act

En 1964 les États-Unis ont voté une loi historique, le Civil Right Act, qui fut un pas déterminant versl'abolition de la ségrégation raciale.

Sur l'ensemble du pays, 80 % des républicains ont voté en sa faveur, contre 61 % des démocrates. Étonnant quand on connaît les positions de ces deux partis.

Et pourtant si on distribue ces résultats entre les états du Nord et du Sud du pays, aussi bien au Nord qu'auSud les démocrates ont plus voté que les républicains en faveur de la loi !

III. Quand le paradoxe se produit-ilIII. Quand le paradoxe se produit-il ??III.1III.1 Explication mathématiqueExplication mathématique

Voici une configuration générale :

Peut-on avoir ac<A

C et

bd<B

D mais

a+bc+d

>A+CB+D

?

Bien sûr que oui…

Aucun règle de calcul permet de conclure que a+bc+d

<A+CB+D

.

On peut donc trouver des contre-exemples comme ceux examinés dans ce devoir.

D'après J.-P. Delahaye, la proportion de jeux de huit entiers pris entre 1 et n vérifiant les inégalités duparadoxe tend vers 0,9606 % quand n tend vers l’infini.Même si les cas où le paradoxe de Simpson se produit sont gênants, ils sont heureusement assez rares.

III.2III.2 Explication statistiqueExplication statistique

Pour que le paradoxe se produise, il faut deux ingrédients :

- il faut une variable qui influe sur le résultat final (le « groupe »), et qui n'est pas forcémentexplicitée au départ. On appelle cela un facteur de confusion6.Il s'agit de la taille des calculs dans le premier exemple, car celle-ci influe sur la probabilité de succèsdu traitement, et de l'âge des personnes dans le second exemple, lequel évidemment joue sur lamortalité.

- il faut que l'échantillon qu'on étudie ne soit pas distribué de manière homogène : dans le cas dutabac, il y a plus de vieilles femmes dans l'échantillon des non-fumeuses que chez les fumeuses ; dansle cas des calculs rénaux, le traitement A est plus souvent donné sur les gros calculs et le « B » sur lespetits.

Quand ces deux conditions sont réunies, le paradoxe de Simpson peut se produire ! A cause de la distribution hétérogène de l'échantillon, regrouper les données pointe une tendance qui peutêtre fausse, et qui disparaît si on analyse les données en séparant selon le facteur de confusion.

6 Pour bien comprendre ce qu'est un facteur de confusion, voir cette vidéo de David Louapre (Science étonnante) avec un exemple très visuel de bière qui influerait sur la libido : https://youtu.be/vs_Zzf_vL2I

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 8 sur 10

Caractère A Caractère B

Sous-groupe 1ac

AC

Sous-groupe 2bd

BD

Totala+bc+d

A+CB+D

Voici un lien (MAGNIFIQUE) pour créer de nombreux paradoxes de Simpson à partir de celui sur ladiscrimination sexuelle à Berkeley :

http://vudlab.com/simpsons/

IV. Comment se prémunir du paradoxe de SimpsonIV. Comment se prémunir du paradoxe de Simpson ??J'imagine que vous voyez aisément le potentiel de manipulation qui se cache derrière ce paradoxe : on peut vousfaire croire à quelque chose (le chômage a baissé, tel traitement marche mieux, tel individu est meilleur, etc.) alorsqu'en regardant les chiffres dans le détail, les effets peuvent disparaître ou s'inverser ! Alors que faire ?

Tout d'abord, il faut se rappeler : cet effet se produit quand il existe une variable cachée influente, et quel'échantillon sur lequel on se base n'est pas homogène. En sciences, c'est pour cela que l'on préfère en général desexpériences « randomisées », qui permettent d'assurer une distribution homogène : par exemple si vous avez descalculs rénaux et que vous participez à une expérience pour comparer les traitements, on vous assigne au hasard letraitement A ou B, sans que la taille des calculs influe sur la décision. On gomme ainsi l'inhomogénéité dedistribution, et le paradoxe disparaît : le traitement A sera bien vu comme étant le meilleur.

Quand on vous présente des chiffres, il faut donc avoir l'œil critique, et être particulièrement méfiants quand ceschiffres sont issues de données analysées a posteriori, plutôt que sur un échantillon expérimental qu'on a soi-mêmeconstruit a priori (en randomisant).

Réfléchissez au point suivant : conclure que « le lit est l'endroit le plus dangereux du monde, c'est là que la plupartdes gens meurent » c'est se tromper car on utilise des données non-randomisées.

Enfin rappelez-vous, ce paradoxe se produit quand il existe une variable cachée fortement influente. Cela signifie que les chiffres bruts ont peu de sens, et doivent être critiqués par un expert du domaine, susceptible depointer l'existence d'un tel facteur. A l'heure où fleurit la mode du « fact-checking », on a un peu tendance à nous fairecroire que les chiffres seraient la vérité « nue »... Non, la vérité nue n'existe pas, et on aura toujours besoin de gens aucourant pour interpréter correctement des chiffres, qu'ils soient scientifiques, économiques ou médicaux.

Source : https://sciencetonnante.wordpress.com/2013/04/29/le-paradoxe-de-simpson/

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 9 sur 10

V. D'autres paradoxes statistiquesV. D'autres paradoxes statistiquesDans l'excellent livre Statistiques. Méfiez-vous (éditions Ellipses, 2007), Nicolas Gauvrit7 propose denombreux exemples, dont ceux mentionnés dans ce devoir.

V.1V.1 Salaires qui baissent mais qui augmentent… Syndicats VS patronatSalaires qui baissent mais qui augmentent… Syndicats VS patronat

Au sein d'une entreprise, un conflit oppose les syndicats et le patron. Les syndicats : « les salaires des ouvriers et ceux des cadres ont baissé cette année de 10 % ».Le patron : « nos calculs indiquent que le salaire moyen dans l'entreprise a augmenté de 152 % ! »

Pourtant, personne ne ment.Explications ? Faites les calculs...

L'arnaque est que les effectifs par catégorie ont changé entre 2006 et 2007 : les ouvriers sont désormaismoins nombreux et les cadres plus nombreux. Il en résulte que la baisse du salaire dans chaque catégorie estcompensée par l'augmentation du nombre des cadres qui sont mieux rétribués. Une baisse de 10 % du salaire de chaque catégorie de personnel est parfaitement compatible avec uneaugmentation du salaire moyen des employés.

Source : J.-P. Delahaye, POUR LA SCIENCE - N° 357 JUILLET 2007

V.2V.2 Sondage Sondage : le paradoxe du nombre moyen d'enfants: le paradoxe du nombre moyen d'enfants

Une enquête exhaustive menée dans une ville lointaine indique que les familles ayant des enfants de moinsde 18 ans se répartissent de la manière suivante : 10 % de familles à 1 enfant, 50 % de familles à 2 enfants,30 % de familles à 3 enfants, 10 % de familles à 4 enfants.

Le nombre moyen d'enfants par famille (parmi celles qui ont des enfants) est donc de :10+100+90+40

100=2,4 .

Pour contrôler cette statistique sur les familles ayant des enfants, les autorités administratives procèdent àun sondage : on interroge au hasard 1 000 enfants de moins de 18 ans et on leur demande combien il y ad'enfants dans leur famille8.En faisant la moyenne des réponses obtenues au sondage, on obtient 2,165. Cela semble absurde. Pourtant, en recommençant et en interrogeant cette fois 10 000 enfants, on trouve maintenant 2,164. Un troisième sondage sur 100 000 enfants donne 2,165 à nouveau.

Pourquoi cet écart si important avec 2,4 ?En interrogeant des enfants au hasard, vous interrogerez 4 fois plus d'enfants des familles à 4 enfants quevous n'en interrogerez dans les familles à 1 enfant, ce qui fausse la moyenne. S'il y a 1 000 familles, il yaura 100 enfants uniques, 1 000 enfants appartenant à une famille de 2 enfants, 900 enfants appartenant àune famille de 3 enfants, 400 enfants appartenant à une famille de 4 enfants. En moyenne :

100+1 000×2+900×3+400×42 400

=2,166 .

Ce qu'évaluent les sondages opérés, ce n'est pas le nombre moyen d'enfants d'une famille prise auhasard, mais le nombre moyen d'enfants qu'on trouve dans la famille d'un enfant pris au hasard.

« Prendre une famille au hasard » et « Prendre un enfant au hasard » n'est pas la même chose.

Source : J.-P. Delahaye, POUR LA SCIENCE - N° 357 JUILLET 2007

7 Nicolas Gauvrit, ancien élève de l'ENS Lyon, est agrégé de mathématiques, licencié en psychologie et docteur en sciences cognitives. Il est maître de conférences à l'université d'Artois.

8 Pour simplifier le problème, on imagine que dans cette ville idéale, il n'y a ni divorce, ni orphelin…

2nde - D.M. Le paradoxe de Simpson (J. Mathieu) Page 10 sur10