Modèles linéaires à effets mixtes Cours 1–2mathieu.biton.free.fr/Cours_ENSAT/Modelisation/Cours_ML.pdf · 2010-05-18 · Modèles linéaires à effets mixtes Cours 1–2 Christophe

Modèles linéaires à effets mixtesCours 1–2

Christophe Laplanche

http://modtox.myftp.org/enseignement/s4/model

1 DéfinitionsVariables qualitatives/quantitativesEffets croisés/nichésEffets fixes/aléatoires

2 Modèles linéaires à effets mixtesModèles ANOVA à effets mixtes non nichésModèles ANOVA à effets mixtes nichésModèles linéaires à effets mixtes





DéfinitionsModèles linéaires à effets mixtes

Références et notations

Variables qualitatives/quantitativesEffets croisés/nichésEffets fixes/aléatoires

Définitions : Variable expliquée, explicative

On considère un modèle de variables y , z1, . . . , zr (r ≥ 1). La variabley est la variable expliquée (variable dépendante) du modèle devariable(s) explicative(s) (variable(s) indépendante(s)) z1, . . . , zr ssiles prédictions du modèle sont de la forme y = f (z1, . . . , zr ).

Exemple

On mesure le rendement de 3 variétés de pieds de tomate (V1, V2,V3) traités sous 4 doses d’engrais (dose nulle D1, dose faible D2,dose moyenne D3, dose élevée D4) à différentes températures. Lavariable expliquée est le rendement, les variables explicatives sont lavariété, la dose, la température.

http://modtox.myftp.org/enseignement/s4/model Modèles linéaires à effets mixtes




Définitions : Variable discrète, continue

Une variable est discrète ssi elle prend ses valeurs dans ensembledénombrable. Une variable est continue ssi elle prend ses valeursdans un ensemble continu.

Exemple

La variété et la dose sont des variables discrètes. La température etle rendement sont continues (ou discrètes si considérées commemesurées à une précision finie).





Définitions : Variable qualitative, quantitative

Une variable est quantitative ssi les valeurs prises par cette variablepour différents individus peuvent s’ajouter. Une variable estqualitative (catégorielle, facteur) sinon. Les valeurs prises par unevariable qualitative sont appelées modalités (catégories). Unevariable qualitative est ordinale ssi ses modalités peuvent êtrecomparés (<). Elle est nominale sinon.

Exemple

La variété est une variable qualitative nominale. La dose est unevariable qualitative ordinale (D1 < D2 < D3 < D4). La température etle rendement sont quantitatives (ou qualitatives ordinales siconsidérées comme mesurées à une précision finie).





Notations

On note par la suite de manière générique les variables explicativesqualitatives wj (j ∈ {1, . . . , q}) et les variables explicativesquantitatives xi (i ∈ {1, . . . , p}). On note {Wj ,1, . . . , Wj ,mj

} lesmodalités et mj le nombre de modalités de la variable wj . On notewjk ∈ {Wj ,1, . . . , Wj ,mj

} et xik les valeurs de wj et xi pour unéchantillon k ∈ {1, . . . , n}.

Exemple

On note w1, w2, x1 la variété, la dose, la température. On considèrem1 = 3 variétés W1,1 = V1, W1,2 = V2, W1,3 = V3 et m2 = 4 dosesW2,1 = D1, W2,2 = D2, W2,3 = D3, W2,4 = D4. Les valeurs de variété,dose, température pour un échantillon k sont w1k ∈ {V1, V2, V3},w2k ∈ {D1, D2, D3, D4}, x1k .





Définition : Modèle linéaire

Un modèle linéaire est un modèle ayant pour but d’expliquer unevariable quantitative y en fonction de variables quantitatives(xi)i∈{1,...,p} et/ou qualitatives (wj)j∈{1,...,q} sous la forme

yk = β0(w1k , . . . , wqk ) +

p∑

i=1

βi(w1k , . . . , wqk )xik + ǫk

avec

βi(w1k , . . . , wqk ) = βi +

q∑

j=1

βi ,wjk(i ∈ {0, . . . , p})

où l’on considère n échantillons de valeurs[yk , (xik )i∈{1,...,p}, (wjk )j∈{1,...,q}]k∈{1,...,n}.





Remarques

� On peut interpréter le modèle comme un modèle de régressionyk = β0(w1k , . . . , wqk ) +

∑pi=1 βi(w1k , . . . , wqk )xik + ǫk pour lequel

les coefficients βi(w1k , . . . , wqk ) (i ∈ {0, . . . , p}) sont fonctionsdes facteurs.

� Dans le cas où p = 1, on peut interpréter le modèle comme unmodèle de régression simple d’ordonnées à l’origine et depentes fonctions des facteurs.

� L’effet d’une variable qualitative wj est représenté par (p + 1)mj

coefficients βi ,Wj,1, . . . , βi ,Wj,mj

(i ∈ {0, . . . , p}).

Définition : Modèle ANOVA, modèle de régression linéaire

Un modèle ANOVA et un modèle de régression linéaire sont resp.des modèles linéaires pour lesquels les variables explicatives sontexclusivement qualitatives (p = 0) ou quantitatives (q = 0).





Exemple

On considère 10 valeurs de température [˚C]. On regroupe n = 120pieds de tomate en 10 lots de 12, un lot par condition detempérature. Pour chaque lot, on considère 4 pieds de chaquevariété, on répartit pour chaque variété les 4 doses d’engrais, les 12pieds sont répartis aléatoirement au sein des lots. On suppose qu’iln’y a pas d’intéraction entre les facteurs variété et dose. Lerendement d’un échantillon k ∈ {1, . . . , n} s’écrit

yk = [β0 + β0,w1k+ β0,w2k

] + [β1 + β1,w1k+ β1,w2k

]x1k + ǫk

Par exemple

y1 = [β0 + β0,V1+ β0,D1

] + [β1 + β1,V1+ β1,D1

]20 + ǫ1

y2 = [β0 + β0,V1+ β0,D2

] + [β1 + β1,V1+ β1,D2

]20 + ǫ2

y5 = [β0 + β0,V2+ β0,D1

] + [β1 + β1,V2+ β1,D1

]20 + ǫ5





Remarques

Il est possible de :

� Transformer la variable expliquée.� Transformer les variables explicatives quantitatives.� Considérer des variables explicatives quantitatives d’intéraction.� Considérer des variables explicatives qualitatives d’intéraction.

Exemple

On considère un facteur w3 d’intéraction entre les facteurs variété etdose. Ce facteur a 12 modalités {V1, V2, V3} × {D1, D2, D3, D4}. Lerendement d’un échantillon k ∈ {1, . . . , n} s’écrit

yk = [β0+β0,w1k+β0,w2k

+β0,w3k]+[β1+β1,w1k

+β1,w2k+β1,w3k

]x1k+ǫk





Remarque

On peut représenter chaque variable qualitative wj par mj − 1variables factices (dummy variables) quantitatives binaires demanière à exprimer les coefficients βi ,wjk

sous la forme d’unecombinaison linéaire des variables factices. On peut alors écrire unmodèle linéaire sous la forme d’un modèle de régression. C’est lemodèle linéaire général , approche employée par les commandesR : lm , lme , lmer .

Exemple

On considère 2 variables factices x2 (x2k = 1 si wk = V2, 0 sinon) etx3 (x3k = 1 si wk = V3, 0 sinon) afin de représenter l’effet variété. Onécrit β0,w1k

= β0,2x2k + β0,3x3k et β1,w1k= β1,2x2k + β1,3x3k . De même

on pourrait considérer 3 variables x4, x5, x6 afin de représenter l’effetdose.





Définition : Dispositif équilibré

Un dispositif est dit équilibré (balanced design) si

1 le nombre de modalités d’un facteur est le même pour toutes lesmodalités des autres facteurs,

2 on dispose du même nombre de répétition(s) par condition(replications per treatment).

Exemple

Le dispositif est équilibré. Dans le cas où l’un des échantillons seraitmanquant le dispositif ne serait plus équilibré.





Remarques

� L’étude de la significativité des coef. d’un modèle ANOVA pardécomposition de la somme des carrés totaux supposegénéralement que le dispositif soit équilibré.

� L’étude de la significativité des coef. d’un modèle de régressionlinéaire au sens des moindres carrés ne nécessite pas cettehypothèse.

� L’étude de la significativité des coef. d’un modèle de régressionlinéaire au sens du maximum de vraisemblance ne nécessitepas cette hypothèse.

� Les méthodes de résolution pour des dispositifs nonéquilibrés peuvent s’appliquer aux dispositifs équilibré s.

� On considère par la suite des dispositifs équilibrés ou non.







Définition : Effet croisé

Deux facteurs w1 et w2 sont croisés (crossed ) si l’ensemble destraitements {W1,1, . . . , W1,m1

} × {W2,1, . . . , W2,m2} sont considérés

dans le dispositif.

Exemple

� Dispositif croisé variété×dose (ex. 1a, TD1).

Remarques

� Il peut manquer, volontairement ou non, certains traitementsdans un dispositif.

� Possibilité de croiser 3 facteurs ou plus.





Définition : Groupement selon un facteur

Une variable qualitative est un facteur de groupement si leséchantillons sont regroupés selon les modalités de ce facteur.

Exemples

� Les pieds sont regroupés par phytotron. Néanmoins l’effetphytotron est confondu avec l’effet température, l’effet phytotronn’est pas explicitement inclus dans le modèle.

� Regroupement par bloc (ex. 3, TD1).� Regroupement par sujet (ex. 5, TD1).� Regroupement par opérateur (ex. 4, TD1).� Regroupement par machine de mesure (ex. 4, TD1).





Remarques

� Dispositif à mesures répétées (repeated measures design,subsampling).

� Groupement selon un facteur d’intéraction (ex. 1b, TD1).

Définition : Facteur niché

On considère un modèle linéaire pour lequel les échantillons sontregroupés successivement selon deux facteurs. Le facteurdéfinissant les sous-groupes est niché (nested ) dans le facteurdéfinissant les groupes. Le plan d’expérience est défini sur deuxniveaux (two-level design).

Remarque

Un facteur B est niché dans un facteur A si chaque modalité dufacteur B n’est considérée que pour une modalité du facteur A.





Exemples

� Dispositifs en parcelles subdivisées (split-plot designs) :regroupement par bloc/parcelle (ex. 3, TD1).

� Regroupement selon un facteur d’intéraction : regroupement parbloc/variété×dose (ex. 1d, TD1).

Remarque

� Possibilité de regrouper sur plus de 2 niveaux (multilevel design).

Exemple

� Regroupement par bac/sujet/lame (ex. 5, TD1).





Remarque

Les réplicats ne doivent pas être structurés par valeur de variable(s)explicative(s) externe(s) au modèle linéaire sous peine de créer uneffet de nichage intempestif. Exemples de variables explicativesexternes :

� qualitatives : bloc, sujet, opérateur, ...� quantitatives : espace, temps, ...

Afin d’éviter des effets de variables non prises en compte dans lemodèle, répartir aléatoirement les réplicats selon les valeurs de(s)variable(s) explicative(s) externe(s) au modèle.







Définition : Effet fixe/aléatoire

On considère un modèle dont l’un des facteurs wj est étudié selon lesmodalités wj ,1, . . . , wj ,mj

. Le facteur est considéré comme à :

� effet aléatoire (random effect) si les modalités représentent unéchantillon parmi une population Wj de valeurs que peut prendrele facteur et si ce facteur est inclus dans le modèle dans le butde tirer des conclusions sur l’effet du facteur pour les valeurs Wj .

� effet fixe (fixed effect) si ce facteur est inclus dans le modèledans le but de tirer des conclusions sur l’effet du facteur pour lesvaleurs {wj ,1, . . . , wj ,mj

}.

Exemples

� Les facteurs variété et dose sont fixes, le facteur bloc estaléatoire (ex. 1d, TD1).

� Les facteurs contamination et durée sont fixes, les facteur bacs,sujets, lames sont aléatoires (ex. 5, TD1).





Remarques

� Un même facteur peut avoir une composante fixe et unecomposante aléatoire.

� Les effets d’intéractions avec un facteur à effet aléatoire sontaléatoires.

� Les effets nichés dans un facteur à effet aléatoire sont aléatoires.

Exemples

� On distingue l’effet fixe variété de l’effet aléatoire variété nichédans bloc (=parcelle) (ex. 2, TD1).

� L’effet bloc étant aléatoire, l’effet variété niché dans bloc l’estaussi (ex. 2, TD1).





Définition : Effets mixtes

Un modèle linéaire est à effets mixtes s’il possède une (des)variable(s) qualitative(s) à effets fixes et une (des) variable(s)qualitative(s) à effets aléatoires.

Exemples

� Les facteurs variété et dose sont fixes le modèle est à effetsfixes.

� Les modèle du TD1 sont tous à effets mixtes excepté l’ex. 1a quiest à effets fixes.








Modèles ANOVA à effets mixtes non nichésModèles ANOVA à effets mixtes nichésModèles linéaires à effets mixtes

Définition : Modèle ANOVA à effets mixtes non nichés

On considère un modèle ANOVA à q facteurs (wj)j∈{1,...,q} de variableexpliquée y . On note wj1 . . . wjs le facteur d’intéraction de niveaus − 1 ≥ 1 entre les facteurs wj1, . . . , wjs . On réalise n mesures[yk , (wjk )j∈{1,...,q}]k∈{1,...,n}. Un modèle ANOVA à effets mixtes nonnichés s’écrit sous la forme

yk = µ + [βw1k + · · · + βwqk ] + [βw1k w2k + · · · + βw(q−1)k wqk ] + . . .

+[βw1k ...w(q−1)k + · · · + βw2k ...wqk ] + βw1k ...wqk + ǫk

Remarque

Chaque facteur wj1 . . . wjs a m1 . . . ms modalités et est représentédans l’ANOVA par m1 . . . ms coefficients parmi lesquels les βwj1k ...wjsk

prennent leurs valeurs.





Exemple

Pour une ANOVA à q = 3 facteurs w1, w2, w3 de modalitésrespectives {A1, A2}, {B1, B2, B3}, {C1, C2} (m1 = 2, m2 = 3, m3 = 2)

yk = µ + [βw1k + βw2k + βw3k ]+[βw1k w2k + βw1k w3k + βw2k w3k ] + βw1k w2k w3k + ǫk

βw1 ∈ {βA1, βA2

}, βw2 ∈ {βB1, βB2

, βB3}, βw3 ∈ {βC1

, βC2},

βw1w2 ∈ {βA1B1, . . . , βA2B3

}, βw1w3 ∈ {βA1C1, . . . , βA2C2

},βw2w3 ∈ {βB1C1

, . . . , βB3C2}, βw1w2w3 ∈ {βA1B1C1

, . . . , βA2B3C2}.

Remarques

� Il existe(s

q

)

différents facteurs wj1 . . . wjs de niveau s ≥ 1.

� µ est la moyenne globale, µ =∑n

k=1 yk/n.� Ne pas inclure un terme βwj1

...wjssuppose l’effet wj1 . . . wjs

inexistant.





Postulats

� Les variables d’erreur ǫk ∼ N (0, σ2).� Pour un facteur wj1 . . . wjs à effets fixes, la somme des

coefficients βwj1...wjs

selon les modalités des facteurs wj1 , . . . , wjsest nulle.

� Pour un facteur wj1 . . . wjs à effets aléatoires,βwj1

...wjs∼ N (0, σ2

wj1...wjs

) pour chaque modalités de wj1, . . . , wjs .

� Les variables aléatoires du modèle sont indépendantes 2 à 2(pairwise independent).





Exemple

Si w1, w2 sont à effets fixes et w3 à effets aléatoires

� βA1+ βA2

= 0.� βB1

+ βB2+ βB3

= 0.� βA1B1

+ βA1B2+ βA1B3

+ βA2B1+ βA2B2

+ βA2B3= 0.

� βCj3∼ N (0, σ2

w3) ∀ j3 ∈ {1, 2}.

� βAj1Cj3

∼ N (0, σ2w1w3

) ∀ j1 ∈ {1, 2}, j3 ∈ {1, 2}.

� βBj2Cj3

∼ N (0, σ2w2w3

) ∀ j2 ∈ {1, 2, 3}, j3 ∈ {1, 2}.

� βAj1Bj2

Cj3∼ N (0, σ2

w1w2w3) ∀ j1 ∈ {1, 2}, j2 ∈ {1, 2, 3}, j3 ∈ {1, 2}.

� ǫk ∼ N (0, σ2) ∀ k ∈ {1, . . . , n}.� Les variables aléatoires du modèle sont indépendantes 2 à 2.





Remarques

� Deux observations ayant une modalité d’un facteur aléatoirecommune sont corrélées.

� Il est possible d’assouplir ou de durcir les postulats :hétéroscédasticité des variables βwj1

...wjs, hétéroscédasticité des

variables ǫk , corrélation des variables ayant une modalité d’unfacteur aléatoire commune, ...

Exemple

Si y1, y2 et y3 sont des échantillons respectifs des modalités A1B1C1,A1B2C1, A1B1C2

{

cov(y1, y2) = σ2C1

+ σ2A1C1

cov(y1, y3) = cov(y2, y3) = 0





Tests

Pour tester la significativité de l’effet du facteur wj1 . . . wjs

� S’il est à effet fixe, H0 : les m1 . . . ms coefficients βwj1...wjs

sontnuls, H1 : l’un des m1 . . . ms coefficients βwj1

...wjsn’est pas nul.

� S’il est à effet aléatoire, H0 : σ2wj1

...wjs= 0, H1 : σ2

wj1...wjs

> 0.

Exemple

Pour tester la significativité de l’effet du facteur

� w1 : H0 : βA1= βA2

= 0.� w3 : H0 : σ2

w3= 0.

� w1w2 : H0 : βA1B1= βA1B2

= βA1B3= βA2B1

= βA2B2= βA2B3

= 0.� w1w3 H0 : σ2

w1w3= 0.

� w1w2w3 H0 : σ2w1w2w3

= 0.





Remarques

� Le test de significativité d’un effet fixe wj permet de prendre unedécision quant à l’importance de l’effet pour les mj modalitésconsidérées. Le test de significativité d’un effet aléatoire wj

permet de prendre une décision quant à l’importance de l’effetpour la population représentées par les mj modalitésconsidérées. Les mj modalités d’un effet aléatoire wj doivent êtredes échantillons représentatif de la population étudiée.

� Le nombre de modalités mj d’un facteur wj à effet aléatoire doitêtre suffisamment important afin de pouvoir estimer la varianceσ2

wjavec une précision suffisante.

� Il se peut que l’on ne teste pas la significativité de certains effetsaléatoires. Ces effets sont inclus dans le modèle de manière àtester correctement la significativité d’autres effets.





Remarques

� Les paramètres du modèle sont la moyenne globale µ, lescoefficients des facteurs à effet fixe, les variances des facteurs àeffet aléatoire, la variance résiduelle σ2.

� Il faut calculer une estimation ponctuelle + intervalle deconfiance des paramètres et tester la significativité des effets.

� On estime les paramètres par maximum de vraisemblance etteste la significativité des effets par rapport de vraisemblance(détaillé plus loin).

� Sous R

◮ ANOVA : lm , lme (paquet nlme ), lmer (paquet lme4 ).◮ Résultats de l’ANOVA : summary .◮ Significativité des effets : anova .





Modèle ANOVA à effets fixes (type I) non nichés sous R� �

# A fixelm(y~A,data=T)

� ��

# A fixe, B fixelm(y~A * B,data=T)

� ��

# A fixe, B fixe, C fixelm(y~A * B* C,data=T)

� �





Modèle ANOVA à effets aléatoires (type II) non nichés sous R� �

# A aléatoirelmer(y~1+(1|A),data=T)

� ��

# A aléatoire, B aléatoirelmer(y~1+(1|A)+(1|B)+(1|A:B),data=T)

� ��

# A aléatoire, B aléatoire, C aléatoirelmer(y~1+(1|A)+(1|B)+(1|C)+(1|A:B)+(1|A:C)+(1|B:C)+ (1|A:

B:C),data=T)� �





Modèle ANOVA à effets mixtes (type III) non nichés sous R� �

# A fixe, B aléatoirelmer(y~A+(1|B)+(1|A:B),data=T)

� ��

# A fixe, B fixe, C aléatoirelmer(y~A * B+(1|C)+(1|A:C)+(1|B:C)+(1|A:B:C),data=T)# A fixe, B aléatoire, C aléatoirelmer(y~A+(1|B)+(1|C)+(1|A:B)+(1|A:C)+(1|B:C)+(1|A:B :C),

data=T)� �







Notation

On suppose les échantillons yk regroupés selon les modalités d’unfacteur wj1 puis selon les modalités d’un facteur wj2. La structure deregroupement est notée wj1/wj2 . Le facteur wj2 est niché dans wj1 ,noté wj2(wj1). Les coefficients associés du modèle ANOVA sont notésβwj1k et βwj2k (wj1k ) prenant leurs valeurs parmi celles de βwj1

etβwj2

(wj1). βwj2k (wj1k ) représente l’effet du facteur wj2 à la modalité wj2k

lorsque le facteur wj1 est à la modalité wj1k . Les notations,remarques, postulats et tests sont similaires pour un modèle ANOVAà effets mixtes non nichés.

Exemples

� Structure bloc/variété (ex. 2, TD1)� Structure bac/sujet/lame (ex. 5, TD1)





Exemple

Pour une ANOVA à q = 2 facteurs w1, w2 de modalités respectives{A1, A2}, {B1, B2, B3} (m1 = 2, m2 = 3) et de structure w1/w2

yk = µ + βw1k + βw2k (w1k ) + ǫk

βw1 ∈ {βA1, βA2

},βw2(w1) ∈ {βB1(A1), βB1(A2), βB2(A1), βB2(A2), βB3(A1), βB3(A2)}.

Exemple

Pour une ANOVA à q = 3 facteurs de structure w1/w2/w3, w3 demodalités {C1, C2} (m3 = 2)

yk = µ + βw1k + βw2k (w1k ) + βw3k (w2k ) + ǫk

βw3(w2) ∈ {βC1(B1), βC1(B2), βC1(B3), βC2(B1), βC2(B2), βC2(B3)}.





Remarque

On peut représenter l’effet niché wj2(wj1) en considérant l’effet wj1wj2sans considérer l’effet isolé wj2 (βwj2k (wj1k ) = βwj1k wj2k ). C’est ce qui estutilisé sous R avec les commandes lm et lmer .





Modèle ANOVA à effets fixes (type I) nichés sous R� �

# A fixe, B(A) fixelm(y~A+B%in%A,data=T)lm(y~A+A:B,data=T)

� ��

# A fixe, B(A) fixe, C(B) fixelm(y~A+B%in%A+C%in%B%in%A,data=T)lm(y~A+A:B+A:B:C,data=T)# A fixe, B fixe, C(B) fixelm(y~A * B+C%in%B,data=T)lm(y~A * B+B:C,data=T)# A fixe, B fixe, C(A * B) fixelm(y~A * B+C%in%A:B,data=T)lm(y~A * B+A:B:C,data=T)

� �





Modèle ANOVA à effets aléatoires (type II) nichés sous R� �

# A aléatoire, B(A) aléatoirelmer(y~1+(1|A)+(1|A:B),data=T)lme(fixed=y~1,random=list(A=~1,B=~1),data=T)

� ��

# A aléatoire, B(A) aléatoire, C(B) aléatoirelmer(y~1+(1|A)+(1|A:B)+(1|A:B:C),data=T)lme(fixed=y~1,random=list(A=~1,B=~1,C=~1),data=T)# A aléatoire, B aléatoire, C(B) aléatoirelmer(y~1+(1|A)+(1|B)+(1|A:B)+(1|C:B),data=T)# A aléatoire, B aléatoire, C(A * B) aléatoirelmer(y~1+(1|A)+(1|B)+(1|A:B)+(1|A:B:C),data=T)

� �





Modèle ANOVA à effets mixtes (type III) nichés sous R� �

# A fixe, B(A) aléatoirelmer(y~A+(1|A:B),data=T)lme(fixed=y~1+A,random=list(A=~1,B=~1),data=T)

� ��

# A fixe, B(A) aléatoire, C(B) aléatoirelmer(y~A+(1|A:B)+(1|A:B:C),data=T)lme(fixed=y~A,random=list(A=~1,B=~1,C=~1),data=T)# A fixe, B fixe, C(B) aléatoirelmer(y~A * B+(1|C:B),data=T)lme(fixed=y~A * B,random=list(B=~1,C=~1),data=T)# A fixe, B aléatoire, C(B) aléatoirelmer(y~A+(1|B)+(1|A:B)+(1|B:C),data=T)# A fixe, B fixe, C(A * B) aléatoirelmer(y~A * B+(1|A:B:C),data=T)# A fixe, B aléatoire, C(A * B) aléatoirelmer(y~A+(1|B)+(1|A:B)+(1|A:B:C),data=T)

� �







Définition : Modèle linéaire à effets mixtes

Un modèle linéaire à effets mixtes est un modèle ayant pour butd’expliquer une variable quantitative y en fonction de variablesquantitatives (xi )i∈{1,...,p} et qualitatives mixtes (wj)j∈{1,...,q} sous laforme

yk = β0(w1k , . . . , wqk ) +

p∑

i=1

βi(w1k , . . . , wqk )xik + ǫk

avec

βi(w1k , . . . , wqk ) = βi +

q∑

j=1

βi ,wjk(i ∈ {0, . . . , p})

où l’on considère n échantillons de valeurs[yk , (xik )i∈{1,...,p}, (wjk )j∈{1,...,q}]k∈{1,...,n}.





Remarques

� Les facteurs (wj)j peuvent être des intéractions ou nichés.� Les modèles ANOVA à effets mixtes sont un cas particulier de

modèles linéaires à effets mixtes, les facteurs expliquent lestermes β0(w1, . . . , wq) uniquement.

� Un facteur peut être inclu pour un jeu de coefficientsβi1(w1, . . . , wq) sans être inclus dans un coefficientsβi2(w1, . . . , wq).

Exemples

� Rendement d’une variété de blé (Wheat , ex. 11, TD1)� hauteur ∼ age|graine (ex. 7, TD1)� circonférence ∼ age|arbre (ex. 8, TD1)� rendement ∼ concentration|bloc/variété (ex. 9, TD1)� poids ∼ temps|année/bloc (ex. 10, TD1)





Définition

De l’expression yk = · · · + ǫk et des hypothèse d’indépendance et dedistribution normale des effets aléatoires et des variables d’erreur, onen déduit (yk )k = y ∼ N (µ,Σ). Le vecteur µ et la matrice Σs’expriment en fonction des paramètres du modèle notés θ. Lafonction de vraisemblance (likelihood function) de θ est la densitéL(θ, y) = p(y |θ). La logvraisemblance (loglikelihood ) estl(θ, y) = log[L(θ, y)]. Un jeu de paramètres θ̂ estimé par maximumde vraisemblance (ML) vérifie :

θ̂ = Argmaxθ[l(θ, y)]

Exemple : Rendement d’une variété de blé (Wheat )� �

reg=lme(fixed=DryMatter~1+fertilizer,random=list(Moisture=~fertilizer-1,Tray=~1),data=Wheat)

� �





Remarques

� θ̂ est trouvé par exemple à l’aide d’un algorithme de descentequasi-Newton.

� De la loi de Bayes, L(θ, y) = p(θ|y)p(y)/p(θ) ∝ p(θ|y) dans lecas où aucune information a priori sur θ n’est disponible.Maximiser la logvraisemblance l(θ, y) revient donc à maximiserla loi a posteriori p(θ|y) : on cherche θ le plus probable en vuedes données disponibles y .

� Les variables des effets aléatoires sont ici supposéesindépendantes. En pratique (et par défaut sous R avec lme etlmer ) les variables des effets aléatoires associées à un mêmefacteur au sein d’un même groupe pour différentes variablesquantitatives sont corrélées.





Définition

La dérivée seconde de la logvraisemblance est appelée matriced’information de Fisher (information matrix)

I(θ) =∂2l(θ, y)

∂θ2

Propriétés

L’estimation θ̂ suit approx. une loi normale, θ̂ ∼ N (θ,I(θ)−1). Cecipermet de calculer des intervalles de confiance des paramètresestimés et de tester la significativité des effets fixes.


anova(reg)plot(augPred(reg))

� �





Définition

On considère deux modèles linéaires à effets mixtes M1 et M2. Lemodèle M1 est dit emboîté (nested ) dans M2 si M1 est un casparticulier de M2. Le modèle M1 est une restriction (restrictedmodel) du modèle M2 dit général (more general model).

Propriété

On considère M1 emboîté dans M2, on note L1 < L2 les maximades vraisemblances et t1 < t2 les nombres de paramètres respectifsdes deux modèles. La statistique du rapport des vraisemblance(likelihood ratio test statistics) 2 log(L2/L1) suit approximativementune loi du χ2 à t2 − t1 degrés de liberté. Ceci permet de tester lasignificativité des effets aléatoires.





Remarques

� M1 emboîté dans M2 !� La méthode d’estimation REML (par défaut sous R avec lme et

lmer ) nécessite l’hypothèse supplémentaire qui est que M1 etM2 aient les mêmes effets fixes . On peut forcer lme et lmer àestimer les paramètres par ML en ajoutant l’optionmethod =’ML’ .


reg2=lme(fixed=DryMatter~1+fertilizer,random=list(Moisture=~fertilizer-1),data=Wheat)

anova(reg,reg2)� �





Définitions

On appelle critère d’Akaike (Akaike information criterion, AIC) etcritère bayésien (Bayesian information criterion, BIC) les quantités

AIC1 = −2 log(L1) + 2t1 BIC1 = −2 log(L1) + t1 log(n)

Remarques

� On préfère M1 à M2 si◮ L1 ≫ L2 (au sens du test du χ2).◮ AIC1 < AIC2.◮ BIC1 < BIC2.

� Ces comparaisons de critères mènent généralement aux mêmesdécisions, parfois à des décisions contradictoires.

� AIC pénalise 2 log(L2/L1) en fonction de t2 − t1. BIC pénalise2 log(L2/L1) en fonction de t2 − t1 en tenant compte du nombre nd’échantillons.




Faraway, J. (2004). Linear Models With R, volume 63 of Texts inStatistical Science Series. Chapman & Hall/CRC.

Faraway, J. (2005). Extending the Linear Model With R : GeneralizedLinear, Mixed Effects and Nonparametric Regression Models.Chapman & Hall/CRC.

Kutner, M., Nachtsheim, C., Neter, J., et Li, W. (2004). Applied linearstatistical models. McGraw-Hill Irwin, 5th edition edition.

Pinheiro, J. et Bates, D. (2000). Mixed-effects models in S andS-Plus. Springer.

Wood, S. (2006). Generalized Additive Models : An Introduction withR. Chapman & Hall/CRC.




Notations

w variable explicative qualitativex variables explicatives quantitativesy variable expliquéez variables explicatives (z = w , x)m nombre de modalités d’une variable qualitativen nombre d’échantillonsp nombre de variables explicatives quantitativesq nombre de variables explicatives qualitativesr nombre de variables explicatives (r = p + q)s ordre d’un terme d’intéractiont nombre de paramètres d’un modèlei indice sur les variables explicatives quantitativesj indice sur les variables explicatives qualitativesk indice sur les échantillons


Documents

Modèles linéaires à effets mixtes Cours 1–2mathieu.biton.free.fr/Cours_ENSAT/Modelisation/Cours_ML.pdf · 2010-05-18 · Modèles linéaires à effets mixtes Cours 1–2 Christophe