Université dOttawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2014-06-05 09:06 1 Les modèles linéaires (Generalized Linear

Université d’Ottawa - Bio 4518 - Biostatistiques appliquées© Antoine Morin et Scott Findlay23-04-11 04:39

1

Les modèles linéairesLes modèles linéaires(Generalized Linear Models, GLM)(Generalized Linear Models, GLM)

Ce qu’ils sont

Quand les utiliser?

Modèle complet

Le modèle d’ANCOVA

Le modèle de la régression commune

Le principe de la somme des carrés additionnelles

Hypothèses implicites


2

Définition des GLMDéfinition des GLM

• Les GLM sont des modèles de la forme suivante:

• Y est un vecteur des variables dépendantes, b est un vecteur des estimés des coefficients, X est un vecteur des variables indépendantes et e représente les termes d’erreur.

Y bX e

Modèles multivariésModèles multivariés

Régression linéairesimple

Régression linéairesimple

Régression multipleRégression multiple

Analyse de variance (ANOVA)

Analyse de variance (ANOVA)

Analyse de covariance(ANCOVA)

Analyse de covariance(ANCOVA)


3

Quelques procédures GLMQuelques procédures GLM

ProcédureVariabledépendante

Variable(s)independante(s)

Régressionsimple

1 continue 1 continue

ANOVA à uncritère

1 continue 1 discontinue*

ANOVA àcritèresmultiples

1 continue 2 ou plus discontinues *

ANCOVA 1 continueAu moins 1 discontinue*et au moins une 1continue

Régressionmultiple

1 continue 2 ou plus continues

*peuvent être discontinues ou traitées comme discontinues


4

Utilisation de Utilisation de l’ANCOVAl’ANCOVA

• Afin de comparer une relation entre une variable dépendante (Y) et une variable indépendante (X1) pour différents niveaux d’une variable discontinue (X2)

• ex: la relation entre le poids (Y) et la taille (X1) pour différents groupes taxonomiques (oiseaux et mammifères, X2)

Taille

Ma

ss

eTaille


5

Utilisation de Utilisation de l’ANCOVAl’ANCOVA

• Lorsque l’on fait ces comparaison, on assume que les modèles sont qualitativement similaires pour tous les niveaux de la variable discontinue...

• …autrement ce serait comme comparer des pommes et des oranges!

Niveau 1 de X2

Niveau 2 de X2 X1

Y

Modèles qualitativement différents

Y

Modèles qualitativement similaires


6

Utilisation de Utilisation de l’ANCOVA l’ANCOVA

• ANCOVA est utilisée afin de comparer des modèles linéaires.

• …certains modèles non-linéaires peuvent être comparés avec des ANCOVA modifiées

Niveau 1 de X2

Niveau 2 de X2 X1

Y

Modèlesnon-linéaires

X1

Y

Modèleslinéaires


7

Le modèle de la régression simpleLe modèle de la régression simple

• Le modèle de la régression:

• alors, toutes les régressions simples sont décrites par 2 paramètres: l’ordonnée à l’origine (a) et la pente (b)

X X

Y

b =YX(pente)

a(ordonnée à l’origine)

Y a bX ei i i ei

Xi

Yi

ObservéesPrédites


8

GLM simplesGLM simples

• Deux modèles linéaires peuvent varier de plusieurs façons:

• Les ordonnées à l’origine (a) et les pentes (b) sont différentes

• Les ordonnées à l’origine sont différents mais les pentes sont les mêmes (modèle d’ANCOVA) X1

Y

a diffèrentmêmeb

X1

Y

a & b diffèrent


9

GLM simplesGLM simples

• Deux modèles linéaires peuvent aussi être différents:

• mêmes ordonnée à l’origine (a) mais les pentes (b) sont différentes

• mêmes pentes et mêmes ordonnées à l’origine (modéle de la régression commune)

X1

Y

Mêmes a,mêmesb

X1

Y

Mêmes adifférents b


10

Ajustement des GLMAjustement des GLM

• L’analyse se fait par étape en commençant avec le modéle le plus complexe

• Déterminer la signification de chaque terme en ajustant deux modèles: un contenant le terme et l’autre qui l’exclut

• Tester les changements dans l’ajustement ( G ou F) associés à l’exclusion du terme en question.

Modèle A(terme inclus)

Modèle B(terme enlevé)

G ou F(ex: RMS)

Enlever le terme (petit )

Inclure le terme (grand )


11

Ajustement au modèle: détermination de la Ajustement au modèle: détermination de la signification des termes du modèlesignification des termes du modèle

• Commencer par un modèle d’ordre supérieur (mos) en incluant le plus de termes possible. Noter SCrésidus et CMrésidus

• Ajuster un modèle réduit (mr) et noter SCrésidus

• Tester la signification du terme exclus en calculant:

Modèle d’ordre supérieur

Modèle réduit

F

Terme exclus(p)

Terme inclus(p)

CMSCSC

mos

résidus

mos

résidus

mr

résidusk

F1/)(


12

Modèle complet avec 2 Modèle complet avec 2 variables indépendantesvariables indépendantes

• Le modèle complet

• i est la pente de la régression de Y sur X1 estimée pour le niveau i de la variable catégorique X2

• i est la différence entre les moyennes de la variable catégorique X2 pour chaque niveau i et la moyenne générale.

Niveau 1 de la variable X2


Y X Xij i i ij i ij ( )

Y1

Y2

X1 X2

1

1 j

X j1

X Xj1 1

2

1 2


13

Le modèle complet: Le modèle complet: hypothèses nulleshypothèses nulles

• Pour le modèle complet contenant 2 variables indépendantes, on note 3 hypothèses nulles:



0:

constante,:

, les pour tous 0:

03

02

01

i

i

i

H

H

iH

Y1

Y2

X1 X2

1

1 j

X j1

X Xj1 1

2

1 2


14

H

H constante

H

i

i

i

01

02

03

0

0

: ,

:

:

,

H

H constante

H

i

i

i

01

02

03

0

0

: ,

:

:

,

H

H constante

H

i

i

i

01

02

03

0

0

: ,

:

:

, Y

Y

Y


15

Conditions d’applicationConditions d’application

• Les résidus sont indépendants et distribués normalement

• La variance des résidus est égale pour toutes les valeurs de X et indépendantes des valeurs de la variable discontinue (homoscedasticité)

• pas d’erreur sur les variables indépendantes

• linéarité


16

ProcédureProcédure

• Ajuster le modèle complet, tester pour la différence entre les pentes

• Si H02 est rejetée, faire des régressions séparées pour chaque niveau de la variable catégorique

• Si H02 est acceptée, ajuster le modèle d’ ANCOVA.



X1

Y

ANCOVARégressions

séparées

H02 acceptée H02 rejetéee

H i02: constante


17

• Le modèle complet:

• est la pente de la régression de Y sur X1 regroupée pour tous les niveaux de la variable catégorique X2.

• i est la différence entre la moyenne pour chaque niveau i et la moyenne générale

Le modèle d’ANCOVA Le modèle d’ANCOVA avec 2 variables avec 2 variables indépendantesindépendantes



Y X Xij i ij i ij ( )

Y1

Y2

X1 X2

1

1 j

X j1

X Xj1 1

2


18

Le modèle d’ANCOVA: Le modèle d’ANCOVA: hypothèses nulleshypothèses nulles

• Pour une ANCOVA avec 2 variables indépendantes, on note deux hypothèses nulles:



Y1

Y2

X1 X2

1

1 j

X j1

X Xj1 1

2

H pour tous les i

Hi

i

01

02

0

0

: ,

:


19

H pour tous les i

Hi

i

01

02

0

0

: ,

:

H pour tous les i

Hi

i

01

02

0

0

: ,

:

Y

Y

Y

H pour tous les i

Hi

i

01

02

0

0

: ,

:


20

Conditions d’application du modèle Conditions d’application du modèle d’ANCOVA d’ANCOVA

• les résidus sont indépendants et distribués normalement

• la variance des résidus est égale pour toutes les valeurs de X et indépendantes des valeurs de la variable catégorique (homoscedasticité)


• linéarité

• les pentes des régressions de Y sur X sont les mêmes pour tous les niveaux de la variable catégorique (ce n’est pas une condition d’application du modèle complet!!)


21

ProcédureProcédure

• Ajuster le modèle d’ANCOVA, tester pour les différences entre les pentes.

• Si H01 est rejetée, séparer les régressions pour chaque niveau de la variable discontinue

• Si H01 est acceptée, ajuster une régression commune.



X1

Y

Régression commune

Régressionsséparées

H01 acceptée H01 rejetéeH i01: constante


22

• Le modèle:

• est la pente de la régression de Y sur X1 , regroupée pour tous les niveaux de la variable catégorique X2.

• est la moyenne regroupée de X1.

Le modèle de la régression Le modèle de la régression commune avec 2 variables commune avec 2 variables indépendantesindépendantes



Y X Xij ij ij ( )

X

1 j

X j1

X Xj1

X


23

La régression commune: La régression commune: hypothèses nulleshypothèses nulles

• On a deux hypothèses nulles pour la régression commune:

H

H01

02

0: ,

: .

0

X

1 j

X j1

X Xj1




24

Conditions d’application de la Conditions d’application de la régression communerégression commune

• Les résidus sont indépendants et distribués normalement

• la variance des résidus est égale pour toutes les valeurs de X et indépendantes des valeurs de la variable catégorique (homoscedasticité)


• linéarité


25

Effets du sexe et de l’âge sur les Effets du sexe et de l’âge sur les esturgeons de The Pasesturgeons de The Pas

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7LAGE

1.5

1.6

1.7

1.8

LFK

L

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LFK

L

Mâles Femelles


26

AnalyseAnalyse

• Log(forklength)(LFKL) est la variable dépendante, log(age) (LAGE) est la variable indépendante continue, et sex (SEX$) est la variable discontinue (2 niveaux)

• Q1: la pente de la régression de LFKL sur LAGE est la même pour les deux sexes?

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7LAGE

1.5

1.6

1.7

1.8

LFK

L1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8

LAGE

1.5

1.6

1.7

1.8

1.9

LFK

L

Femelles

Mâles


27

Effets du sexe et de l’âge sur les Effets du sexe et de l’âge sur les esturgeons de The Pasesturgeons de The Pas


28

AnalyseAnalyse

• Conclusion 1: la pente est la même pour les deux sexes (accepter H03 ) p(SEX$*LAGE) > .05

• Q2: l’ordonnée à l’origine est-elle la même?

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7LAGE

1.5

1.6

1.7

1.8

LFK

L1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8

LAGE

1.5

1.6

1.7

1.8

1.9

LFK

L

Femelles

Mâles


29

Effets du sexe et de l’âge sur les Effets du sexe et de l’âge sur les esturgeons de The Pas esturgeons de The Pas (modèle (modèle d’ANCOVA)d’ANCOVA)


30

AnalyseAnalyse

• Conclusion 2: Ordonnée à l’origine est la même pour les deux sexes. H02 est acceptée. p(SEX$ > .05),

• le meilleur modèle est la régression commune.

• Notez que la réduction du R2 est négligeable (.697 to .696). Le terme n’est donc pas utile.

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7LAGE

1.5

1.6

1.7

1.8

LFK

L1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8

LAGE

1.5

1.6

1.7

1.8

1.9

LFK

L

Females

Males


31

Effets du sexe et de l’âge sur les Effets du sexe et de l’âge sur les esturgeons de The Pasesturgeons de The Pas (régression (régression commune)commune)


32

Effets du site et de l’âge sur la taille Effets du site et de l’âge sur la taille des esturgeonsdes esturgeons

LofW

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

Nelson

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL


33

AnalyseAnalyse

• Log(forklength)(LFKL) est la variable dépendante, log(age) (LAGE) est la variable indépendante continue, et le site la variable indépendante discontinue (2 sites)

• Q1: la pente de la relation de LFKL sur LAGE varie-t-elle entre les sites?

NelsonRiver

Lake ofthe Woods

LofW

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

Nelson

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

LofW

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

Nelson

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL


34

Effets du site et de l’âge sur la taille Effets du site et de l’âge sur la taille des esturgeonsdes esturgeons


35

AnalyseAnalyse

• Conclusion 1: la pente varie entre les sites (rejeter H03 ) p(LOCATION$*LAGE) < .05

• On devrait ajuster des régressions séparées pour chaque site.

NelsonRiver

Lake ofthe Woods

LofW

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

Nelson

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

LofW

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL

Nelson

1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8LAGE

1.5

1.6

1.7

1.8

1.9

LF

KL


36

Que faire si?Que faire si?

• La variable discontinue a plus de deux niveaux? • Suivre les mêmes étapes. Si

on rejette l’hypothèse d’égalité des pentes (H03 ) on compare les pentes deux à deux.

• Si on accepte H03 mais rejette H02 (égalité des intercepts), comparer les intercepts deux à deux.

• Ajuster niveau ....

Y

X


37

Que faire si?Que faire si?

• L ’hypothèse biologique est unilatérale? • Suivre les mêmes étapes. Si

on rejette l’hypothèse d’égalité des pentes (H03 ) on compare les pentes deux à deux (test unilatéral).

• Si on accepte H03 mais rejette H02 (égalité des intercepts), comparer les intercepts deux à deux (test unilatéral).

Y

X


38

Analyse de Analyse de puissancepuissance

• Pour les modèles linéaires, les épreuves d’hypothèses utilisent un test de F.

• Attention: SCerreur et dlerreur dépendent du type d ’analyse et de l ’hypothèse éprouvée.

• Si on connait F, on peut calculer R2, la proportion de la variance totale de la variable dépendante expliquée par le facteur (variable) considéré. F

FR

dl

dl

SC

SC

dlSC

dlSC

CM

CMF

facteur

erreur

erreur

facteur

erreurerreur

facteurfacteur

erreur

facteur

1

/

/

2


39

RR2 2 total et partieltotal et partiel

• Le R2 total (R2Y•B) est la

proportion de la variance de Y expliquée par toutes les variables indépendantes formant l ’ensemble B

• Le R2 partiel (R2Y•A,B- R2

Y•A ) est la proportion de la variance expliquée par l ’ensemble B lorsque l’effet des autres facteurs est enlevé.

Proportion de la variance expliquée par A

et B (R2Y•A,B)

Proportion de la variance

expliquée par A (R2

Y•A)(R2 total)

Proportion de la variance expliquée

par Bmais pas par A(R2

Y•A,B- R2Y•A )

(R2 partiel)


40

• Le R2 total (R2Y•B) pour

l’ensemble B est égal au R2 partiel (R2

Y•A,B- R2Y•A ) si

• (1) le R2 total pour l’ensemble A (R2

Y•A) est 0 ou

• (2) si A et B sont indépendants (et alors R2

Y•A,B= R2

Y•A + R2Y•B)


expliquée parB

(R2Y•B)(R2 total)


inexpliquée par A(R2

Y•A,B- R2Y•A )

(R2 partiel)

A

Y

B

A

Égal si



41


• En régression simple et ANOVA à un critère de classification, il n’y a qu’une variable indépendante X (continue ou discontinue)

X

Y

Water temperature (C)16 20 24 28

0.00

0.04

0.08

0.12

0.16

0.20

Gro

wth

ra

te

(c

m/d

ay)


42


• En ANCOVA, il y a plusieurs variables indépendantes

• Le R2 partiel peut différer du R2 total X1

Y

pH = 6.5pH = 4.5

Temperature (C)16 20 24 280.00

0.04

0.08

0.12

0.16

0.20

Ta

ux

de

cro

iss

anc

e

(c

m/jo

ur)


43

Exemple: Exemple: RR2 2 total et partiel entotal et partiel en ANCOVA ANCOVA

• Deux variables indépendantes X1 (continue) et X2 (discontinue)

X1

Y

X2 = L1

X2 = L2

121

2

1

21

2,

22,

2

22

22

,2

,2

21 ,

XYXXYAYBAY

XYBY

XYAY

XXYBAY

RRRR

RR

RR

RR

XBXA


44

Définition de la taille de l’effet en GLMDéfinition de la taille de l’effet en GLM

• La taille de l’effet, f2 est calculée par le rapport du R2

facteur sur 1 moins R2

erreur.

• Note: R2facteur et R2

erreur

dépendent de l’hypothèse nulle

2

22

1 erreur

facteur

R

Rf


45

Effet du sexe et de l’âge sur la taille des Effet du sexe et de l’âge sur la taille des esturgeons à The Pas (régression commune)esturgeons à The Pas (régression commune)


46

Définition de la taille de l’effet en GLM: Définition de la taille de l’effet en GLM: Exemple 1Exemple 1

• Un ensemble B est relié à Y, et le R2 total (R2

Y•B) est estimé

• Le R2erreur est alors: 1-

R2Y•B

• H0: R2Y•B = 0

• Exemple: effet de l’âge

• B ={LAGE}

23.2690.1

690.

11 2

2

2

22

LAGE

LAGE

erreur

facteur

R

R

R

Rf


47

Effet du sexe et de l’âge sur la taille Effet du sexe et de l’âge sur la taille des esturgeons de The Pasdes esturgeons de The Pas


48

Effet du sexe et de l’âge sur la taille Effet du sexe et de l’âge sur la taille des esturgeons de The Pas des esturgeons de The Pas (modèle (modèle ANCOVA)ANCOVA)


49

Définition de la taille de l’effet en GLM: Définition de la taille de l’effet en GLM: Exemple 2Exemple 2

• Cas 2: la proportion de la variance de Y dûe à B mais pas à A est déterminée (R2

Y•A,B- R2

Y•A )

• Le R2erreur est alors 1- R2

Y•A,B

• H0: R2Y•A,B- R2

Y•A = 0

• Exemple: effet de SEX$*LAGE• B ={SEX$*LAGE}, A,B =

{SEX$, LAGE, SEX$*LAGE}

003.697.1

.696.697.

1 2}*$,$,{

2}$,{

2}*$,$,{

2

LAGESEXLAGESEX

LAGESEX

LAGESEXLAGESEX

R

R

R

f


50

Estimation de la Estimation de la puissancepuissance

• À partir de f2 calculé a priori (hypothèse alternative) ou a posteriori , calculer le paramètre de la distribution de F non-centrale

• À partir de , du nombre de dl pour le facteur (1) and error (2) degrees of freedom, we can determine power from appropriate tables for given .

= .05)

= .01)

2 décroissant

1-

1 = 2

= .05

2 3 4 5

= .01

1 1.5 2 2.5

)1( 212 f


51

Exemple: effet du pH et des éléments Exemple: effet du pH et des éléments nutritifs sur le taux de croissance de nutritifs sur le taux de croissance de l’achiganl’achigan

• Échantillon de 35 lacs• 3 niveauxde pH : acide,

neutre, basique• Taux de croissance estimé

pour chaque lac• Quelle est la probabilité de

détecter un effet partiel du pH de la taille de celui mesuré pour = .05?

Variable dl p

pH 2 0.15

N 1 <.01

pH*N 2 0.20

Erreur 29

R2{pH, N, pH*N} 0.44

R2{pH, N } 0.36

R2{N} 0.27


52

• Taille de l ’effet f2 pour pH = .14

• 1 = 2

2 = 35 - 2 - 2- 1 - 1 = 29

), , , f?(1

48.4)1292(14.

)1(

14.44.1

.36.44.

1

21

212

2}*,,{

2}*,{

2}*,,{2

deonction

f

R

RRf

NpHNpH

NpHNNpHNpH

Exemple: effet du pH et des éléments Exemple: effet du pH et des éléments nutritifs sur le taux de croissance de nutritifs sur le taux de croissance de l’achiganl’achigan

Documents

Université dOttawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2014-06-05 09:06 1 Les modèles linéaires (Generalized Linear