Analyse de la variance03-12-07impressionmaths.cnam.fr/IMG/pdf/Analyse_de_la_variance-07.pdf ·...

1Pierre-Louis GONZALEZ

ANALYSEDE LA

VARIANCE

2

ANALYSE DE LA VARIANCE

Comparaison des moyennes de plusieurs populations

Interprétation statistique de résultats recueillis à l’aide

d’une stratégie d’expérimentation

(plans d’expérience)

Introduction

3

ÉLÉMENTS DE VOCABULAIRE

Les facteurs contrôlés sont qualitatifs par nature : variété de blé

type de béton

méthode de mesure

ou bien sont considérés comme tels : plusieurs niveaux d’une variable

quantitative (pression, température).

Lorsqu’il y a plusieurs facteurs, une combinaison de niveaux est un traitement.

L’analyse de la variance présuppose un modèle probabiliste traduisant la

manière d’agir des facteurs, contrôlés ou aléatoires sur l’effet considéré

(variable quantitative).

4

Modèle de type linéaire addififs

Il retient l’additivité des effets moyens des facteurs contrôlés (et

éventuellement de leurs combinaisons ou interactions) et la normalité de

l’erreur expérimentale.

Principe d’interprétation

Comparer les moyennes des résultats relatifs aux niveaux (variantes) d’un

facteur à l’erreur expérimentale.

Test d’hypothèse

5

Interaction et linéarité

z xy=

y = 2z

x

y = 1

z

x

y = 1

y = 0 5,

y = 0

z = xy

z = xy

z = x2 + y2

z = x + y

y = 2y = 1

y = 0

y = 0

z

x

z

x

y = 1y = 0

La relation entre z et x dépend des valeurs prises par y :

Il y a interaction entre x et y.

La relation entre z et x est linéaire. Il y a toujours

interaction entre x et y.

Les courbes ( )z f x= sont seulement translatéeslorsque y varie :Les influences de x et y sur z sont additives. Il n’y a pas d’interaction.

Les influences de x et de y sur z sont additives.

De plus, les relations sont linéaires.

y 2=

6

ANALYSE DE LA VARIANCE

INTERACTION

Ai------

Bj

------ xijlxijk

xijn

xij⎫⎬⎭

------ xj

xi

------

x------

------

( ) ( ) ( ) ( ) ( ) ( )[ ] ( )x x x x x x x x x x x x x xijk i j ij i j ijk ij− = − + − + − − − − − + −

S S S S ST A B AB r2 2 2 2 2= + + +

7

X B2

B1

A1 A2 A3

Additivité

X B2

B1

A1 A2 A3

Interaction

8

ANALYSE DE LA VARIANCE À UN FACTEUR

1 - Présentation Y : caractéristique quantitative à étudier dans k populations

Deux situations équivalentes :

2. Tirage de k échantillons indépendants de tailles n1, n2 ... nk dans une

population pour leur appliquer k traitements distincts (d’où k populations

virtuelles). On dit aussi qu’on étudie un facteur à k niveaux.

1. Échantillons de tailles n1, n2 ... nk dans k populations.

I LE MODELE A EFFETS FIXES

9

μ μ μ1 2, … k les moyennes pour Y à chacun des niveaux.

H k0 1 2 : μ μ μ= = =…

H i j tqet i j1 : :∃ ≠μ μ

⎧⎨⎩

Test :

Objectif

10

2 - Le modèle

v.a. Yij = «réponse» du jème «individu» du niveau i ( )i à à i= =1 1 k j n;

( )E Yij i= μ

( )Var indépendant deYij i= σ 2

Yij Ν ( )μ σi ;

Yij i ij= +μ ε

( )E ij ε = 0 ( )Var ijε σ= 2

ε ij Ν ( )0 ; σ

ou

Les v.a. Yij sont toutes indépendantes.

→ →

11

Reparamétrisation

μ μ α μμ

αi i

i

ii

k i ii

kavec

nn= + ⇒ =

∑

∑∑

=

=

=n

i

i=1

k

1

1

0

μ = moyenne globale

α i = effet du niveau i du facteur

Yij i ij= + +μ α ε

( )H k i0 1 2 0 = i⇔ = = = = ∀α α α μ μ…

⎧⎨⎩

Si H0 est rejetée, le problème se posera donc d’estimer les (ou et les ).μ i μ α i

12

Notations

3 - Décomposition de la somme des carrés totale

N nii

k=

=∑

1

Yijj

ni

==∑

1Y ni

•

1 YN• •

= 1 ∑i=1

kniYi i.

13

Y Y Y Yk• • • • •, , , , 1 2 … estimateurs sans biais de μ μ μ μ, , i k2

Y Yi• • •− estimateur sans biais de α i

Y Yij i−• «résidu»

Identité : ( ) ( )Y Y Y Y Y Yij i ij i− = − + −•• • • • •

En élevant au carré et en sommant sur i et j :

( ) ( ) ( ) Y Y n Y Y Y Yij i ii

k

j

n

i

k

ij ij

n

i

ki i

− = − + −•• • • • •

=== ==∑∑∑ ∑∑2 2

111 11

=somme descarrés totale

somme des carrésdue au facteur

somme des carrésrésiduelle+

= +SCT SCF SCR

3 - Décomposition de la somme des carrés totale

14

4 - Test F pour H0

On démontre ( ) ( )E SCF k ni ii

k = − +

=∑1 2 2

1

σ α

( ) ( )E SCR N k= − σ 2

Sous l’hypothèse H0 :

( ) ( )E SCF k= − 1 2 σ et SCFσ 2

χk−12

( ) ( )E SCR N k= − σ 2 SCRσ 2

χN k−2

et SCF et SCR indépendantes.

⎧

⎨

⎪⎪⎪

⎩

⎪⎪⎪

→

→

15

Sous l’hypothèse H0, les Yij sont des variables de même loi.

( )Y Yijj

n

i

k

N

i

−••

==−

∑∑ 2

112 1

2

σχ

( )Y Yij ij

ni

−•

=∑ 2

12σ

χni −12

( )Y Yij ij

n

i

k i

−•

==∑∑ 2

112σ

χN k−2

→

→

→

Justification

16

F SCF kSCR N k

= −−

//

1Fisher ( )k N k− −1,

Le carré moyen résiduel est alors un estimateur sans biais de .σ 2

→

Conclusion

17

TABLEAU D’ANALYSE DE LA VARIANCE

Intuitivement si on s’éloigne de H0, alors on s’attend à ce que CMF > CMR

Rejet de H0 si F > ( )F k N k1

1−− −α

,

(risque )α (quantile de la loi de Fisher)1− α

Sourcede

variation

Sommede

carrésd.d.l.

k − 1

Carrésmoyens

CMF SCFk

=− 1

F

CMFCMR

CMR SCRN k

=−

N k−

SCF

SCR

Facteur

Résidus

18

Remarques

Le test est assez robuste par rapport à l’hypothèse gaussienne.En particulier, on peut l’utiliser pour des fonctions de densitésymétriques.

Le test n’est pas robuste par rapport à l’hypothèse

d’homoscédasticité ( indépendant de i).σ 2

19

1. Test de Bartlett

population i Yij Ν ( )μ σi i, 2

H0 : σ σ σ12

22 2= = = … k

H1 : ∃ i et j tq : σ σi j2 2≠

⎧⎨⎩

Soit ( )Sn

Y Yii

ij ij

ni2 2

1

11

=−

−•

=∑ variance empirique de la population i

et ( )SCR ii

k= −

=∑ n Si 1 2

1

→

II TEST D’HOMOSCÉDASTICITÉ (comparaison des variances)

20

Le test de Bartlett est basé sur la statistique

( ) ( ) ( )Q N k SCRN-k

n Si ii

k= − ⎛

⎝⎜⎞⎠⎟− −

=∑ ln ln1 2

1

Intuitivement : si prochesSi2 Q ≅ 0

si éloignés Si2 Q grand

Bartlett a montré que où :Qh

( )hk k

= +− −

−−

⎛⎝⎜

⎞⎠⎟∑1 1

3 1 1 1

n1

Nii=1

k

suit asymptotiquement une loi du khi-deux à d.d.l.( )k − 1

21

2. Test de Hartley

Lorsque les effectifs des échantillons sont égaux, le test de Hartley permet de

vérifier plus rapidement l’hypothèse d’égalité des variances :

H k0 12

22 2 : σ σ σ= = =…

Ce test nécessite seulement le calcul du quotient des valeurs extrêmes :

H SSobs

i

i

=2

2 max min

H0 est rejetée si H Hobs ≥ −1 α (valeurs dépendant du nombre d’échantillons k et

du nombre de degrés de liberté ).n − 1

Pour deux populations, le test de Hartley est équivalent au test F. Sauf dans ce

dernier cas, ce test est moins sensible que le test de Bartlett (car il ne fait

intervenir explicitement que les valeurs observées de deux échantillons).

Comme le test de Bartlett, il est très sensible à la non normalité.

22

Si l’hypothèse H0 d’égalité des moyennes est rejetée, on se pose la

question :

Quelles moyennes sont différentes ?

Comparaison 2 à 2 des moyennes.

III COMPARAISONS MULTIPLES DE MOYENNES

23

1. Méthode de Student (LSD)

Test de Student usuel mais avec pour estimateur de σ 2 CMR:

Au risque , on rejette l’hypothèseα H i j0 : "μ μ= " si :

Y Yn ni j

N k

i j• •− ≥ +

−

− t 1

2

1 1α σ

Inconvénient: Cette méthode ne tient pas compte, au niveau du risque du nombre de comparaisons effectuées. La méthode de Bonferroni remédie à ce problème.

α

24

Si tous les effectifs des classes sont égaux ( )n n n Jk1 2= = = = …

l’expression précédente se simplifie :

Y YJi j

N k• •− ≥

−

− t 1

2

2α σ

P.P.D.S.

P.P.D.S. = Plus petite différence significative

(en anglais L.S.D. : Least significant difference).

Remarque

25

2. Méthode de Bonferroni

Test de Student usuel, mais avec pour estimateur de σ 2 CMR:

Au risque , on rejette l’hypothèse si :α H i j0 : "μ μ= "

Y Yn ni j

N k

i j• •− ≥ +

−

− t 1

2

1 1α σ

α

α* = Proba (au moins une égalité est rejetée à tort)

On détermine , à utiliser lors d’un test de Student, de façon à contrôler le risque d’erreur global:

α

La méthode de Bonferroni consiste à fixer le risque utilisé dans un test de Student usuel, en tenant compte du nombre de comparaisons effectuées.

26

Calcul du risque d’erreur α

α∗ =

= −1

Probalité (au moins une égalité est rejetée à tort)

Prob (aucune égalité rejetée à tort)

Du fait que l’on effectue tests par paires :( )k k − 12

( )( )

α α∗−

≤ − − 1 11

2k k

(cas de tests indépendants)

Si on exige α∗ ≤ C il suffit que :

( )( )

1 11

2− − ≤−

αk k

c

( )( )

1 11

2− ≤ −−

ck k

α

27

( ) [ ]Comme pour 1 1 0 1 1− ≥ − ∈ ≥α α αq q q,

il suffit que :

( )1 11

2− ≤ −

−c

k k α

( )α ≤−c

k k 1 2/

Exemple : k = ≤∗5 0 10 α ,

⇒ ≤ = choisir α 0 1010

0 01, ,

28

3. Méthode de Scheffé

Au risque global , on rejette l’hypothèse :∗α

H j0 : iμ μ=

si :

( ) ( )k 1,N ki 1

i jj

1 1ˆY Y k 1 F n n∗

− −

−α• •− ≥ − σ +

où σ 2 =−

SCRN k

29

On peut tester simultanément tous les couples en calculant tout

d’abord :

( ) ( )k 1,N k1

K k 1 F ∗− −

−α= −

et on vérifie ensuite si :

Y Yi j• •− + > K 1

n1ni j

σ

Si oui : μ μi j≠

Pratique

30

4. Méthode de Tukey

Au risque , on rejette l’hypothèse :∗α

H i j0 : " "μ μ=

si :k ,N k

i j 1i j

1 1 1ˆY Y q 2 n n∗

−−α• •

⎛ ⎞− ≥ σ +⎜ ⎟⎜ ⎟

⎝ ⎠

où k,N k1

q ∗−

−αest le fractile 1 ∗−α de l’étendue studentisée (cf tables)

Q W=σ ou ( ) ( )W Max Y Min Yi i= −

quand on dispose de r observations

indépendantes Y1 ... Yr provenant d’une

distribution normale.

31

5. Comparaison des méthodes

La méthode de Tukey est plus sensible à la détection de petites

différences entre couples de moyennes que la méthode de

Scheffé.

La méthode de Tukey est préférable à celle de Bonferroni quand

on souhaite effectuer toutes les comparaisons.

Au contraire, si l’on n’effectue que certaines comparaisons,

préférer la méthode de Bonferroni.

32

6. Tests de contrastes

1. Contraste ( )c c ck1 2, …

fonction linéaire c tq ci ii

k

ii

kμ

= =∑ ∑ =

1 1

0

2. Les contrastes ( )c c ck1 2, … et ( )d d dk1 2, … sont

dits orthogonaux si :

c dni i

ii

k

=∑ =

1

0

3. Somme des carrés du contraste ( )L c c ck= 1 2, , …

SC c Y cnL i i

i

ki

ii

k= ⎛⎝⎜

⎞⎠⎟•= =

∑ ∑1

2 2

1

Définitions

33

L L L k1 2 1, , , … − des contrastes orthogonaux deux à deux.Soient

Alors SCF SC SC SCL L Lk = + + +

−1 2 1… et les SCLi

sont mutuellement indépendants (sous H0)

Intérêt : possibilité de partitionnement de la somme des carrés due aux

traitements en contrastes d’intérêt particulier et tests correspondants.

Proposition

34

Test de : cii=1

kHL

i0 0μ =∑

Sous : H c Yi ii

k

01

•

=∑ Ν c c

ni ii

ii

k

i

kμ σ; 2

2

11 ==∑∑

⎛

⎝⎜

⎞

⎠⎟

⇒•

=

=

∑

∑

⎛⎝⎜

⎞⎠⎟

=

cn

i2

i

à 1 d.d.l.1

21

2

1

22

σ σχ

c YSCi i

i

k

i

kL

( )SCCMR

F N kL 1, −

→

→

→

Statistique de test

35

1. Test sur les rangs (Kruskal-Wallis)

Seule hypothèse : pour les k populations, la variable observée est de

même loi à une translation près, loi continue.

Fonctions de répartition ( ) ( ) ( )F x x x k− − −μ μ μ1 2, F F…

On veut tester :

H k0 1 2 : μ μ μ= = =…H i1 : les pas tous égauxμ

⎧⎨⎩

VI ANALYSE DE VARIANCE NON PARAMÉTRIQUE

36

Les Yij sont remplacés par leurs rangs Rij

( )⇒ = − = +• •• • •

=∑ oùSCF n R R R N

i ii

k* 2

1

12

( ) ( ) ( )SCT R RN N N

ijj

n

i

k i

* = − =+ −

••

==∑∑ 2

11

1 1 12

Si H0 est vraie : ( )E CMF SCTN

* *=− 1

non aléatoire

Statistique du test :

( ) ( ) ( )KW SCFN N N N

n R Ni ii

k=

+=

+− +

•

=∑*

/1 1212

13 12

1

37

Si pour tout i ni ≥ 5

( )KW k χ 2 1−

approx.sous l’hypothèse H0

( )⇒ > −− rejet de si au niveauH KW K

0 12 1χ αα

En cas d’ex-aequo pour les Yij : règle du rang moyen

S’il existe ni < 5 voir tables appropriées

KW peut s’employer pour tester : H0 : toutes les lois sont identiques

H1 : pas toutes identiques

⎧⎨⎩

KW à conseiller si l’on suspecte des valeurs aberrantes

→

Remarques

38

«Durée de fonctionnement entre deux pannes pour trois ordinateurs»

( ) ( ) ( ){ }KW =×

× + + − × =1215 16

5 8 2 5 4 8 5 11 0 3 16 4 82 2 2, , , ,

Moyenne

8,2

4,8

11,0

A

B

C

Rang

Rang

Rang

105 3 90 217 22

11 2 10 14 4

56 43 1 37 14

8 7 1 5 3

183 144 219 86 39

13 12 15 9 6

Exemple

39

Pour α = 10 %

( )χ 0 902 2 4 61, , =

Conclusion : on rejette H0 les temps moyens écoulés entre deux

pannes sont différents.

⇒

Pour α = 5 %

( )χ 0 952 2 5 99, , =