[25] Régression linéaire

Universit de Rennes 2 Master de Statistique Anne 2009/2010 Premier Semestre

Rgression linaireArnaud Guyader

Ce cours est tir des quatres premiers chapitres du livre de Pierre-Andr Cornillon et Eric MatznerLber, Rgression (Thorie et applications), paru chez Springer en 2007.

Table des matires1 La rgression linaire simple 1.1 Modlisation . . . . . . . . . . . . . . . . . . . . . . 1.2 Moindres Carrs Ordinaires . . . . . . . . . . . . . . 1.2.1 Calcul des estimateurs de 1 et 2 . . . . . . 1.2.2 Quelques proprits des estimateurs 1 et 2 1.2.3 Calcul des rsidus et de la variance rsiduelle 1.2.4 Prvision . . . . . . . . . . . . . . . . . . . . 1.3 Interprtations gomtriques . . . . . . . . . . . . . . 1.3.1 Reprsentation des variables . . . . . . . . . . 1.3.2 Le coecient de dtermination R2 . . . . . . 1.4 Cas derreurs gaussiennes . . . . . . . . . . . . . . . 1.4.1 Estimateurs du maximum de vraisemblance . 1.4.2 Rappels sur les lois usuelles . . . . . . . . . . 1.4.3 Lois des estimateurs et rgions de conance . 1.4.4 Prvision . . . . . . . . . . . . . . . . . . . . 1.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . 2 La rgression linaire multiple 2.1 Modlisation . . . . . . . . . . . . . . . . . 2.2 Estimateurs des Moindres Carrs Ordinaires 2.2.1 Calcul de . . . . . . . . . . . . . . 2.2.2 Quelques proprits . . . . . . . . . 2.2.3 Rsidus et variance rsiduelle . . . . 2.2.4 Prvision . . . . . . . . . . . . . . . 2.3 Interprtation gomtrique . . . . . . . . . . 2.4 Exemple . . . . . . . . . . . . . . . . . . . . 2.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 2 3 4 6 7 8 8 8 9 10 10 11 12 13 13 17 18 19 19 21 22 24 24 25 26 29 29 30 32 34 35 35 35 39 40 40

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 Le modle gaussien 3.1 Estimateurs du Maximum de Vraisemblance . . . . . . . . . . . . 3.2 Nouvelles proprits . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Intervalles et rgions de conance . . . . . . . . . . . . . . . . . . 3.4 Prvision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Tests dhypothses . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.2 Tests entre modles embots . . . . . . . . . . . . . . . . 3.5.3 Test de lhypothse linaire R = 0 . . . . . . . . . . . . . 3.5.4 Gnralisation : test de Fisher pour une hypothse linaire 3.6 Estimation sous contraintes . . . . . . . . . . . . . . . . . . . . . i

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . quelconque . . . . . . .

ii 3.7 3.8

Table des matires Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 42 47 47 47 48 48 53 55 59 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 71 71 71 71 72 72 72 73 73 73 73 74 75 75 75 77 77 78 79 80 81

4 Validation du modle 4.1 Analyse des rsidus . . . . . . . . . . . . . . . . . . 4.1.1 Ajustement global et ajustement individuel 4.1.2 Vrication des hypothses . . . . . . . . . 4.1.3 Les dirents types de rsidus . . . . . . . . 4.2 Analyse de la matrice de projection . . . . . . . . . 4.3 Autres mesures diagnostiques . . . . . . . . . . . . A Annales B Rappels dalgbre B.1 Quelques dnitions . . . . . . . . . . . . B.2 Quelques proprits . . . . . . . . . . . . . B.2.1 Les matrices n p . . . . . . . . . B.2.2 Les matrices carres n n . . . . . B.2.3 Les matrices symtriques . . . . . B.2.4 Les matrices semi-dnies positives B.3 Proprits des inverses . . . . . . . . . . . B.4 Proprits des projections . . . . . . . . . B.4.1 Gnralits . . . . . . . . . . . . . B.4.2 Exemple de projection orthogonale B.4.3 Trace et lments courants . . . . . B.5 Drivation matricielle . . . . . . . . . . . .

C Rappels de probabilit C.1 Gnralits . . . . . . . . . . . . . . . . . . . C.2 Vecteurs alatoires gaussiens . . . . . . . . . . C.3 Tables des lois usuelles . . . . . . . . . . . . . C.3.1 Loi Normale X N (0, 1) . . . . . . . C.3.2 Loi de Student X T . . . . . . . . . C.3.3 Loi du Khi-deux ddl X 2 . . . C.3.4 Loi de Fisher 1 , 2 ddl X F(1 ,2 ) D Quelques donnes

Arnaud Guyader - Rennes 2

Rgression

Chapitre 1

La rgression linaire simpleIntroductionCommenons par un exemple : pour des raisons de sant publique, on sintresse la concentration dozone O3 dans lair. On cherche en particulier savoir si on peut expliquer le taux maximal dozone de la journe par la temprature T12 12h. Les donnes sont : Temprature 12h O3 max 23.8 115.4 16.3 76.8 27.2 113.8 7.1 81.6 25.1 115.4 27.5 125 19.4 83.6 19.8 75.2 32.2 136.8 20.7 102.8

Tab. 1.1 10 donnes journalires de Temprature et dozone. Dun point de vue pratique, le but de cette rgression est double : Ajuster un modle pour expliquer O3 en fonction de T12 ; Prdire les valeurs dO3 pour de nouvelles valeurs de T12 . Avant toute analyse, il est intressant de reprsenter les donnes, comme sur la gure 1.1.100 110 120 130 80 90

O3

10

15

T12

20

25

30

Fig. 1.1 10 donnes journalires de Temprature et dozone.

Pour analyser la relation entre les xi (temprature) et les yi (ozone), nous allons chercher une fonction f telle que : yi f (xi ). Pour prciser le sens de , il va falloir se donner un critre quantiant la qualit de lajustement de la fonction f aux donnes. Il faudra aussi se donner une classe de fonctions F dans laquelle nous supposerons que se trouve la vraie fonction inconnue. 1

2

Chapitre 1. La rgression linaire simple Le problme mathmatique peut scrire de la faon suivante :n

arg minf F i=1

l(yi f (xi )),

o n reprsente le nombre de donnes analyser et l(.) est appele fonction de cot ou fonction de perte.

1.1

Modlisation

Dans de nombreuses situations, une ide naturelle est de supposer que la variable expliquer y est une fonction ane de la variable explicative x, cest--dire de chercher f dans lensemble F des fonctions anes de dans . Cest le principe de la rgression linaire simple. On suppose dans la suite disposer de n points (xi , yi ) dans le plan. Dnition 1.1 (Modle de rgression linaire simple) Un modle de rgression linaire simple est dni par une quation de la forme : i {1, . . . , n} yi = 1 + 2 xi + i

Les quantits i viennent du fait que les points ne sont jamais parfaitement aligns sur une droite. On les appelle les erreurs (ou bruits) et elles sont supposes alatoires. Pour pouvoir dire des choses pertinentes sur ce modle, il faut nanmoins imposer deux hypothses les concernant : (H) (H1 ) : [i ] = 0 pour tout indice i (H2 ) : Cov(i , j ) = ij 2 pour tout couple (i, j)

Les erreurs sont donc supposes centres, de mme variance (homoscdasticit) et non corrles entre elles. Notons que le modle de rgression linaire simple de la dnition 1.1 peut encore scrire de faon vectorielle : Y = 1 + 2 X + , o : le vecteur Y est alatoire de dimension n, le vecteur est le vecteur de n dont les composantes valent 1, le vecteur X est un vecteur de dimension n donn (non alatoire), les coecients 1 et 2 sont les paramtres inconnus du modle, le vecteur est alatoire de dimension n. Cette notation vectorielle sera commode notamment pour la reprsentation et linterprtation gomtrique du problme en rgression linaire multiple, cest pourquoi il convient dores et dj de sy habituer.

1.2

Moindres Carrs Ordinaires

Les points (xi , yi ) tant donns, le but est maintenant de trouver une fonction ane f telle que la quantit n l(yi f (xi )) soit minimale. Pour pouvoir dterminer f , encore faut-il prciser la i=1 fonction de cot l. Deux fonctions sont classiquement utilises : le cot absolu f (u) = |u| ; le cot quadratique f (u) = u2 . Arnaud Guyader - Rennes 2 Rgression

1.2. Moindres Carrs Ordinaires Les deux ont leurs vertus, mais on privilgiera dans la suite la fonction de cot quadratique. On parle alors de mthode destimation par moindres carrs (terminologie due Legendre dans un article de 1805 sur la dtermination des orbites des comtes). Dnition 1.2 (Estimateurs des Moindres Carrs Ordinaires) On appelle estimateurs des Moindres Carrs Ordinaires (en abrg MCO) 1 et 2 les valeurs minimisant la quantit :n

3

S(1 , 2 ) =i=1

(yi 1 2 xi )2 .

La fonction de deux variables S est une fonction quadratique et sa minimisation ne pose aucun problme, comme nous allons le voir maintenant.

1.2.1

Calcul des estimateurs de 1 et 2

Proposition 1.1 (Estimateurs 1 et 2 ) Les estimateurs des MCO ont pour expressions : 1 = y 2 x, avec 2 =n i=1 (xi x)(yi n 2 i=1 (xi x)

y)

=

n i=1 (xi x)yi . n 2 i=1 (xi x)

Preuve. La fonction S(1 , 2 ) est strictement convexe, elle admet donc un minimum unique au point (1 , 2 ), lequel est dtermin en annulant les drives partielles de S. On obtient les quations normales : S 1 S 2n

= 2 = 2

i=1 n i=1

(yi 1 2 xi ) = 0 xi (yi 1 2 xi ) = 0

La premire quation donne :

n

n

1 n + 2i=1

xi =i=1

yi

do lon dduit immdiatement : 1 = y 2 x, (1.1)

o x et y sont comme dhabitude les moyennes empiriques des xi et des yi . La seconde quation donne :n n n

1i=1

xi + 2i=1

x2 = ii=1

xi yi

et en remplaant 1 par son expression (1.1), nous avons : 2 = xi yi x2 i xi y = xi x xi (yi y ) = xi (xi x) (xi x)(yi y ) . (xi x)(xi x) (1.2)

Rgression


4

Chapitre 1. La rgression linaire simple

Cette dernire quation suppose que le dnominateur n (xi x)2 est non nul. Or ceci ne peut i=1 arriver que si tous les xi sont gaux, situation sans intrt pour notre problme et que nous excluons donc a priori pour toute la suite. Remarque. La relation 1 = y 2 x montre que la droite des MCO passe par le centre de gravit du nuage (, y ). x

1.2.2

Quelques proprits des estimateurs 1 et 2

Sous les seules hypothses (H1 ) et (H2 ) de centrages, dcorrlations et homoscdasticits des er reurs i du modle, on peut dj donner certaines proprits statistiques des estimateurs 1 et 2 des moindres carrs. Thorme 1.1 (Estimateurs sans biais) 1 et 2 sont des estimateurs sans biais de 1 et 2 . Preuve. Une autre faon dcrire 2 est : 2 = 2 + (xi x)i . (xi x)2

Dans cette expression, seuls les bruits i sont alatoires, et puisquils sont centrs, on en dduit bien que [2 ] = 2 . Pour 1 , on part de lexpression : 1 = y 2 x, do lon tire : [1 ] = [] x [2 ] = 1 + x2 x2 = 1 . y

On peut galement exprimer variances et covariance de nos estimateurs. Thorme 1.2 (Variances et covariance) Les variances des estimateurs sont : Var(1 ) = 2 x2 i n (xi x)2 & Var(2 ) = 2 , (xi x)2

tandis que leur covariance vaut : Cov(1 , 2 ) = 2x . (xi x)2

Preuve. On part nouveau de lexpression de 2 utilise dans la preuve du non-biais : 2 = 2 + (xi x)i , (xi x)2

or les erreurs i sont dcorrles et de mme variance 2 donc la variance de la somme est la somme des variances : 2 (xi x)2 2 . = Var(2 ) = (xi x)2 ( (xi x)2 )2 Arnaud Guyader - Rennes 2 Rgression

1.2. Moindres Carrs Ordinaires Par ailleurs, la covariance entre y et 2 scrit : Cov(, 2 ) = Cov y do il vient pour la variance de 1 : Var(1 ) = Var cest--dire : yi 2 x n = 2 + n x2 2 2Cov(, 2 ), x y (xi x)2 yi , n (xi x)i (xi x)2 = 2 (xi x) = 0, n (xi x)2

5

2 x2 2 x2 2 i = + . (xi x)2 n n (xi x)2 Enn, pour la covariance des deux estimateurs : Var(1 ) = Cov(1 , 2 ) = Cov( 2 x, 2 ) = Cov(, 2 ) xVar(2 ) = y y 2x . (xi x)2

Remarque. On a vu que la droite des MCO passe par le centre de gravit du nuage (, y ). x Supposons celui-ci x et x positif, alors il est clair que si on augmente la pente, lordonne lori gine va baisser et vice versa, on retrouve donc bien le signe ngatif pour la covariance entre 1 et 2 . Les estimateurs des moindres carrs sont en fait optimaux en un certain sens, cest ce que prcise le rsultat suivant. Thorme 1.3 (Gauss-Markov) Parmi les estimateurs sans biais linaires en y, les estimateurs j sont de variance minimale. Preuve. Lestimateur des MC scrit 2 = n pi yi , avec pi = (xi x)/ i=1 2 linaire en yi et sans biais, cest--dire : un autre estimateur n

(xi x)2 . Considrons

2 =i=1

i y i .

Montrons que

i = 0 et

i xi = 1. Lgalit (2 ) = 1 i + 2 i x i + i (i )

est vraie pour tout 2 . Lestimateur 2 est sans biais donc (2 ) = 2 pour tout 2 , cest--dire 2 ) Var(2 ). que i = 0 et i xi = 1. Montrons que Var( Var(2 ) = Var(2 2 + 2 ) = Var(2 2 ) + Var(2 ) + 2Cov(2 2 , 2 ).2

Cov(2 2 , 2 ) = Cov(2 , 2 ) Var(2 ) = do :

i (xi x) (xi x)2

2 = 0, (xi x)2

Var(2 ) = Var(2 2 ) + Var(2 ). Une variance est toujours positive, donc : Var(2 ) Var(2 ).

Le rsultat est dmontr. On obtiendrait la mme chose pour 1 . Rgression Arnaud Guyader - Rennes 2

6


1.2.3

Calcul des rsidus et de la variance rsiduelle150

1 + 2 x(9)

(9)

O30 0 50

100

5

10

15

T12

20

25

x(9)

30

35

Fig. 1.2 Reprsentation des individus. Dans 2 (espace des variables xi et yi ), 1 est lordonne lorigine et 2 la pente de la droite ajuste. Cette droite minimise la somme des carrs des distances verticales des points du nuage la droite ajuste. Les rsidus (cf. gure 1.2) sont dnis par : i = yi yi = yi 1 2 xi = yi y 2 (xi x). Par construction la somme des rsidus est nulle : i = i i

(1.3)

(yi y + 2 x 2 xi ) =

i

(yi y ) 2

i

(xi x) = 0.

Les variances et covariance des estimateurs 1 et 2 tablies en section prcdente ne sont pas pratiques car elles font intervenir la variance 2 des erreurs, laquelle est en gnral inconnue. On peut en exprimer un estimateur sans biais grce aux rsidus. Thorme 1.4 (Estimateur non biais de 2 ) La statistique 2 = n 2 /(n 2) est un estimateur sans biais de 2 . i=1 i Preuve. Rcrivons les rsidus en constatant que 1 = y 2 x et 1 = y 2 x , ce qui donne : i = 1 + 2 xi + i 1 2 xi = y 2 x + 2 xi + i y + 2 x 2 xi = (2 2 )(xi x) + (i ). 2 = 2 + nous avons : 2 = (2 2 )2 i = (2 2 )2 i 2 = Prenons-en lesprance : (i )2 (xi x)2 Var(2 ) = (n 2) 2 . (xi x)2 + (xi x)2 + (xi x)i , (xi x)2 (i )2 + 2(2 2 ) (xi x)(i ) (xi x)2 .

En dveloppant et en nous servant de lcriture vue plus haut :

(i )2 2(2 2 )2

Bien sr, lorsque n est grand, cet estimateur dire trs peu de lestimateur empirique de la variance des rsidus. Arnaud Guyader - Rennes 2 Rgression

1.2. Moindres Carrs Ordinaires

7

1.2.4

Prvision

Un des buts de la rgression est de faire de la prvision, cest--dire de prvoir la variable expliquer y en prsence dune nouvelle valeur de la variable explicative x. Soit donc xn+1 une nouvelle valeur de la variable x, nous voulons prdire yn+1 . Le modle est toujours le mme : yn+1 = 1 + 2 xn+1 + n+1 avec [n+1 ] = 0, Var(n+1 ) = 2 et Cov(n+1 , i ) = 0 pour i = 1, , n. Nous pouvons prdire la valeur correspondante grce au modle ajust : yn+1 = 1 + 2 xn+1 . Deux types derreurs vont entcher notre prvision : la premire est due la non connaissance de n+1 , la seconde est due lincertitude sur les estimateurs. Proposition 1.2 (Erreur de prvision) Lerreur de prvision n+1 = (yn+1 yn+1 ) satisfait les proprits suivantes : [n+1 ] = 0 Var(n+1 ) = 2 1 + 1 n

+

(xn+1 )2 x P (xi )2 x

.

Preuve. Pour lesprance, il sut dutiliser le fait que n+1 est centre et que les estimateurs 1 2 sont sans biais : et [n+1 ] = [1 1 ] + [2 2 ]xn+1 + [n+1 ] = 0.

Nous obtenons la variance de lerreur de prvision en nous servant du fait que yn+1 est fonction de n+1 seulement tandis que yn+1 est fonction des autres erreurs (i )1in : Var(n+1 ) = Var (yn+1 yn+1 ) = Var(yn+1 ) + Var(n+1 ) = 2 + Var(n+1 ). y y Calculons le second terme : Var (n+1 ) = Var 1 + 2 xn+1 = Var(1 ) + x2 Var(2 ) + 2xn+1 Cov 1 , 2 y n+1 2 x2 i + x2 2xn+1 x n+1 n (xi x)2 (xi x)2 2 = + x2 + x2 2xn+1 x n+1 2 (xi x) n 1 (xn+1 x)2 + . = 2 n (xi x)2 = Au total, on obtient bien : Var(n+1 ) = 2 1 + 1 (xn+1 x)2 + (xi x)2 n .

Ainsi la variance augmente lorsque xn+1 sloigne du centre de gravit du nuage. Autrement dit, faire de la prvision lorsque xn+1 est loin de x est prilleux, puisque la variance de lerreur de prvision peut tre trs grande ! Ceci sexplique intuitivement par le fait que plus une observation xn+1 est loigne de la moyenne x et moins on a dinformation sur elle. Rgression Arnaud Guyader - Rennes 2

8


1.31.3.1

Interprtations gomtriquesReprsentation des variables

Si nous abordons le problme dun point de vue vectoriel, nous avons deux vecteurs notre disposition : le vecteur X = [x1 , . . . , xn ] des n observations pour la variable explicative et le vecteur Y = [y1 , . . . , yn ] des n observations pour la variable expliquer. Ces deux vecteurs appartiennent au mme espace n : lespace des variables. Si on ajoute cela le vecteur = [1, . . . , 1] , on voit tout dabord que par lhypothse selon laquelle tous les xi ne sont pas gaux, les vecteurs et X ne sont pas colinaires : ils engendrent donc un sous-espace de n de dimension 2, not M(X). On peut projeter orthogonalement le vecteur Y sur le sous-espace M(X), notons provisoirement Y ce projet : puisque (, X) forme une base de M(X), il existe une unique dcomposition de la forme Y = 1 + 2 X. Par dnition du projet est dni comme lunique vecteur de M(X) minimisant la distance euclidienne orthogonal, Y Y Y , ce qui revient au mme que de minimiser son carr. Or on a :n

Y Y

2

=i=1

(yi (1 + 2 xi ))2 ,

ce qui nous ramne la mthode des moindres carrs ordinaires. On en dduit que Y = Y , 1 = 1 et 2 = 2 , avec les expressions de Y , 1 et 2 vues prcdemment.

Y 2 X y

X

1 M(X)

Y

Fig. 1.3 Reprsentation de la projection dans lespace des variables.

Autrement dit, dans n , 1 et 2 sinterprtent comme les coordonnes de la projection orthogonale y de y sur le sous-espace de n engendr par et x (voir gure 1.3). Remarque. Nous avons suppos que et x ne sont pas colinaires. En gnral, ces vecteurs ne sont pas orthogonaux (sauf si x = 0), ce qui implique que 1 nest pas la projection de y sur et que 2 x nest pas la projection de y sur x.

1.3.2

Le coecient de dtermination R2

Nous conservons les notations du paragraphe prcdent, en notant Y = [1 , . . . , yn ] la projection y orthogonale du vecteur Y sur M(X) et = Y Y = [1 , . . . , n ] Arnaud Guyader - Rennes 2 Rgression

1.4. Cas derreurs gaussiennes le vecteur des rsidus dj rencontrs en section 1.2.3. Le thorme de Pythagore donne alors directement :n

9

Y y

2 2

= =

n

Y y

2

+ 2

2 n

i=1

(yi y )

i=1

(i y ) + y

2 ii=1

SCT = SCE + SCR, o SCT (respectivement SCE et SCR) reprsente la somme des carrs totale (respectivement explique par le modle et rsiduelle). Dnition 1.3 Le coecient de dtermination R2 est dni par : R2 = Y y SCE = SCT Y y 2 2

.

On voit sur la gure 1.3 que R2 correspond au cosinus carr de langle . De faon schmatique, on peut direncier les cas suivants : Si R2 = 1, le modle explique tout, langle vaut zro et Y est dans M(X), cest--dire que yi = 1 + 2 xi pour tout i ; Si R2 = 0, cela veut dire que (i y )2 = 0, donc yi = y pour tout i. Le modle de rgression y linaire est inadapt puisquon ne modlise rien de mieux que la moyenne ; Si R2 est proche de zro, cela veut dire que y est quasiment dans lorthogonal de M(X), le modle de rgression linaire est inadapt, la variable utilise nexplique pas bien la variable y. Remarques : 1. On peut aussi voir R2 comme le carr du coecient de corrlation empirique entre les xi et les yi : R =2 n i=1 (xi n i=1 (xi

2. Sur la gure 1.3 est not un angle droit entre les vecteurs et y y . On vrie en eet facilement que ces deux vecteurs sont orthogonaux (exercice).

x)2

x)(yi y ) n i=1 (yi

2

y )2

= 2 . X,Y

1.4

Cas derreurs gaussiennes

Mieux que les expressions des estimateurs et celles de leurs variances, on aimerait connatre leurs lois : ceci permettrait par exemple dobtenir des rgions de conance et deectuer des tests dhypothses. Dans cette optique, il faut bien entendu faire une hypothse plus forte sur notre modle, savoir prciser la loi des erreurs. Nous supposerons ici que les erreurs sont gaussiennes. Les hypothses (H1 ) et (H2 ) deviennent (H) (H1 ) : i N (0, 2 ) (H2 ) : i sont indpendants

Le modle de rgression simple devient un modle paramtrique, o les paramtres 1 , 2 , 2 sont valeurs dans , et respectivement. La loi des i tant connue, les lois des yi sen dduisent. + Nous pouvons donc calculer la vraisemblance de lchantillon et les estimateurs qui maximisent cette vraisemblance. Cest lobjet de la section suivante. Rgression Arnaud Guyader - Rennes 2

10


1.4.1

Estimateurs du maximum de vraisemblance

La vraisemblance vaut L(1 , 2 , 2 ) = = 1 2 2 2 2 1n

exp n

1 2 2

n i=1

(yi 1 2 xi )2

1 exp 2 S(1 , 2 ) 2

Ce qui donne pour la log-vraisemblance : n 1 log L(1 , 2 , 2 ) = log 2 2 2 S(1 , 2 ). 2 2 Nous voulons maximiser cette quantit par rapport aux trois variables (1 , 2 , 2 ). Les deux premires variables napparaissent que dans le terme en S(1 , 2 ), quil faut donc minimiser. Or on a dj vu que cette quantit est minimale lorsquon considre les estimateurs des moindres carrs, cest--dire pour 1 = 1 et 2 = 2 . Bilan : les estimateurs du maximum de vraisemblance de 1 et 2 sont gaux aux estimateurs des moindres carrs. Ceci tant vu, il reste simplement maximiser log L(1 , 2 , 2 ) par rapport 2 . Calculons donc 2 : la drive par rapport n 1 n 1 log L(1 , 2 , 2 ) = 2 + 4 S(1 , 2 ) = 2 + 4 2 2 2 2 2n i=1

(yi 1 2 xi )2

Do lon dduit que lestimateur du maximum de vraisemblance de 2 est dirent de lestimateur 2 vu prcdemment et vaut : mv 2 1 = nn

2 . ii=1

Lestimateur du maximum de vraisemblance de 2 est donc biais. On a en eet donc un biais dautant plus ngligeable que le nombre dobservations est grand.

[mv ] = 2

n2 2 n ,

Avant de passer aux lois des estimateurs et aux intervalles de conance qui sen dduisent, faisons quelques rappels sur les lois usuelles dans ce contexte.

1.4.2

Rappels sur les lois usuelles

Outre la loi normale, trois lois seront dusage constant dans la suite : la loi du 2 , la loi de Student et la loi de Fisher. Dnition 1.4 (Loi du 2 ) Soit X1 , . . . , Xn des variables alatoires i.i.d. suivant une loi normale centre rduite. La loi de la variable X = n Xi2 est appele loi du 2 n degrs de libert (ddl). Sa densit est : i=1 f (x) = o comme dhabitude (t) = Arnaud Guyader - Rennes 2 1 2 n 2

n 2

x 2 1 e 2 [0,+[ (x),n x

+ t1 u u e dt. 0

Rgression

1.4. Cas derreurs gaussiennes On a [X] = n et Var(X) = 2n. Lorsque n est grand, on sait par le Thorme Central Limite que X suit approximativement une loi normale de moyenne n et de variance 2n : N (n, 2n). X Ainsi, pour n grand, environ 95% des valeurs de X se situent dans lintervalle [n2 2n, n+2 2n]. Dnition 1.5 (Loi de Student) Soit Z une variable alatoire suivant une loi normale centre rduite et X une variable suivant une loi du 2 n degrs de libert, avec Z et X indpendantes. La loi de la variable T = Z estX/n

11

appele loi de Student n degrs de libert et on note T Tn . Sa densit est : 1 n+1 2 f (t) = n n 2 1 1+t2 nn+1 2

.

Lorsque n = 1, T suit une loi de Cauchy et na donc pas desprance (ni a fortiori de variance). n Pour n = 2, T est centre mais de variance innie. Pour n 3, T est centre et de variance n2 . Dautre part, lorsque n devient grand, on sait par la loi des grands nombres que le dnominateur tend presque srement vers 1. De fait on peut montrer que pour n grand, T tend en loi vers une gaussienne centre rduite : T N (0, 1). Dnition 1.6 (Loi de Fisher) Soit U1 une variable alatoire suivant une loi du 2 n1 degrs de libert et U2 une variable alatoire suivant une loi du 2 n2 degrs de libert, avec U1 et U2 indpendantes. La loi de la n1 variable F = U1 /n1 est appele loi de Fisher (n1 , n2 ) degrs de libert et on note F Fn2 . U2 /n2n1 Pour n2 > 2, la variance dune loi de Fisher Fn2 est n2 /(n2 2). Nous allons maintenant voir comment ces lois interviennent dans nos estimateurs.

1.4.3

Lois des estimateurs et rgions de conance

An de faciliter la lecture de cette partie, considrons les notations suivantes : c =2 1 = 2 2 2 =

2 x (xi x)2 n 2 (xi x)2

2 =

x2 i (xi x)2

1 n2

2 i x2 i (xi x)2

1 = 2 2 2 = 2

n 2 . (xi x)2

2 2 Les variances 1 et 2 interviennent dans la vraie loi des estimateurs des moindres carrs ordinaires, comme le prcise le rsultat suivant.

Proprits 1.1 (Lois des estimateurs avec variance connue) Les lois des estimateurs des MCO avec variance 2 connue sont : 2 (i) 1 N 1 , 1 . 2 (ii) 2 N 2 , 2 . 1 1 (iii) = 1 N , 2 V o = et V = 2 (xi x)2 2 (n 2) 2 (iv) 2 , loi du 2 (n 2) degrs de libert. n2 2 2 sont indpendants. (v) (1 , 2 ) et Rgression

x2 /n x i . x 1


12

Chapitre 1. La rgression linaire simple Remarque. Ces proprits, comme celles venir, ne sont pas plus faciles montrer dans le cadre de la rgression linaire simple que dans celui de la rgression linaire multiple. Cest pourquoi nous reportons les preuves au chapitre 3. Le problme des proprits ci-dessus vient de ce quelles font intervenir la variance thorique 2 , laquelle est gnralement inconnue. La faon naturelle de procder est de la remplacer par son estimateur 2 . Les lois intervenant dans les estimateurs sen trouvent de fait lgrement modies. Proprits 1.2 (Lois des estimateurs avec variance estime) Les lois des estimateurs des MCO avec variance 2 estime sont : 1 1 Tn2 , o Tn2 est une loi de Student (n 2) degrs de libert. (i) 1 2 2 (ii) Tn2 . 2 1 2 ( ) V 1 ( ) Fn2 ,loi de Fisher de paramtres (2, n 2). (iii) 2 2 Ces dernires proprits nous permettent de donner des intervalles de conance (IC) ou des rgions de conance (RC) des estimateurs. En eet, la valeur ponctuelle dun estimateur est de peu dintrt en gnral et il est intressant de lui associer un intervalle de conance. Les rsultats sont donns pour un gnral, en pratique on prend typiquement = 0, 05. Proprits 1.3 (Intervalles et rgions de conance) (i) IC(1 ) : 1 tn2 (1 /2)1 , o tn2 (1 /2) est le quantile de niveau (1 /2) dune loi Tn2 . (ii) IC(2 ) : 2 tn2 (1 /2)2 . (iii) RC() : Une rgion de conance simultane pour 1 et 2 au niveau (1 ) est 1 n(1 1 )2 + 2n(1 1 )(2 2 ) + x 2 2 2 x2 (2 2 )2 fn2 (1 ), i

2 2 o fn2 (1 ) est le quantile de niveau (1 ) dune loi Fn2 . (iv) Un intervalle de conance de 2 est donn par :

(n 2) 2 (n 2) 2 , , cn2 (1 /2) cn2 (/2) o cn2 (1 /2) est le quantile de niveau (1 /2) dune loi 2 . n2 Remarque : (iii) donne la rgion de conance simultane des paramtres de la rgression (1 , 2 ), appele ellipse de conance, tandis que (i) ou (ii) donne lintervalle de conance dun paramtre sans tenir compte de la corrlation entre 1 et 2 .

1.4.4

Prvision

Pour lesprance et la variance, nous avons videmment les mmes rsultats que ceux obtenus en section (1.2.4). De plus, puisque yn+1 est linaire en 1 , 2 et n+1 , on peut prciser sa loi : yn+1 yn+1 N 0, 2 1 + 1 (xn+1 x)2 + (xi x)2 n .

A nouveau on ne connat pas 2 et on lestime donc par 2 . Comme (yn+1 yn+1 ) et 2 (n 2)/ 2 sont indpendants, on peut noncer un rsultat donnant des intervalles de conance pour yn+1 . Arnaud Guyader - Rennes 2 Rgression

1.5. Exemple Proposition 1.3 (Loi et intervalle de conance pour la prdiction) Avec les notations et hypothses prcdentes, on a : yn+1 yn+1 1+ 1 n

13

+

(xn+1 )2 x P (xi )2 x

1/2

Tn2 ,

do lon dduit lintervalle de conance pour yn+1 : yn+1 tn2 (1 /2) 1 + 1 (xn+1 x)2 + n (xi x)2 1/2

.

De ce rsultat, il dcoule que lintervalle de conance pour la valeur prdite est une hyperbole. Nous retrouvons aussi la remarque dj faite : plus le point prvoir admet pour abscisse xn+1 une valeur loigne de x, plus lintervalle de conance sera grand.

1.5

Exemple

Nous allons traiter 50 donnes journalires prsentes en annexe. La variable expliquer est la concentration en ozone, note O3 , et la variable explicative est la temprature midi, note T12 . Les donnes sont traites avec le logiciel R. > a _ lm(O3 T12) > summary(a) Call : lm(formula = O3 T12) Residuals : Min -45.256 Coefficients : (Intercept) T12 Estimate 31.4150 2.7010 Std. Error 13.0584 0.6266 t value 2.406 4.311 Pr(>|t|) 0.0200 8.04e-05 * *** 1Q -15.326 Median -3.461 3Q 17.634 Max 40.072

Signif. codes : 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error : 20.5 on 48 degrees of freedom Multiple R-Squared : 0.2791, Adjusted R-squared : 0.2641 F-statistic : 18.58 on 1 and 48 DF, p-value : 8.041e-05 Les sorties du logiciels donnent les valeurs estimes des paramtres, leur cart-type, la statistique de test sous lhypothse H0 : i = 0. Nous rejetons H0 pour les deux paramtres estims.

1.6

Exercices

Exercice 1.1 (QCM) 1. Lors dune rgression simple, si le R2 vaut 1, les points sont-ils aligns ? A. Non ; Rgression Arnaud Guyader - Rennes 2

14 B. Oui ; C. Pas obligatoirement. 2. La A. B. C.


droite des MC dune rgression simple passe-t-elle par le point (, y ) ? x Toujours ; Jamais ; Parfois.

3. Nous avons eectu une rgression simple, nous recevons une nouvelle observation xN et nous calculons la prvision correspondante yN . La variance de la valeur prvue est minimale lorsque A. xN = 0 ; B. xN = x ; C. aucun rapport. 4. Le vecteur Y est-il orthogonal au vecteur des rsidus estims ? A. Toujours ; B. Jamais ; C. Parfois. Exercice 1.2 (Droite de rgression) Nous avons mesur 8 couples de variables (xi , yi )1i8 . Voici les rsultats numriques que nous avons obtenus :8 8 8 8 8

xi = 56i=1 i=1

x2 = 524 ii=1

xi yi = 364i=1

yi = 40i=1

2 yi = 256.

Dterminez la droite des moindres carrs. Exercice 1.3 (Poids des pres et des ls) Ltude statistique ci-dessous porte sur les poids respectifs des pres et de leurs ls ans. Pre 65 63 67 64 68 62 70 66 68 67 69 71 Fils 68 66 68 65 69 66 68 65 71 67 68 70 Voici les rsultats numriques que nous avons obtenus :12 12 12 12 12

pi = 800i=1 i=1

p2 i

= 53418i=1

pi fi = 54107i=1

fi = 811i=1

fi2 = 54849.

1. Calculez la droite des moindres carrs du poids des ls en fonction du poids des pres. 2. Calculez la droite des moindres carrs du poids des pres en fonction du poids des ls. 3. En quel point se coupent ces 2 droites ? Que vaut le produit des pentes des deux droites ? Exercice 1.4 (R2 et corrlation empirique) Montrer que le coecient de dtermination R2 est gal au carr du coecient de corrlation empirique entre x et y, not r(x, y), cest--dire quon a : R =2 n i=1 (xi n i=1 (xi

x)2

x)(yi y) n i=1 (yi

2

y)2

.


Rgression

1.6. Exercices Exercice 1.5 (Hauteur dun arbre) Nous souhaitons exprimer la hauteur y (en pieds) dun arbre dune essence donne en fonction de son diamtre x (en pouces) 1m30 du sol. Pour ce faire, nous avons mesur 20 couples (diamtre,hauteur). Nous avons eectu les calculs suivants : x = 4.53, y = 8.65 et 1 2020 i=1

15

(xi x) = 10.97

2

1 20

20 i=1

(yi y ) = 2.24

2

1 20

20 i=1

(xi x)(yi y ) = 3.77

1. Donnez le modle et les hypothses usuelles de la rgression linaire simple en expliquant lutilit de chaque hypothse. 2. On note y = 0 + 1 x la droite de rgression. Donnez lexpression de 1 en fonction des 0 et 1 . statistiques lmentaires ci-dessus. Calculez 3. Donnez et commentez une mesure de la qualit de lajustement des donnes au modle. Exprimez cette mesure en fonction des statistiques lmentaires. Commentez le rsultat. 4. On donne les estimations de lcart-type de 0 , 0 = 1.62 et de 1 , 1 = 0.05. On suppose les perturbations i gaussiennes. Testez H0 : j = 0 contre H1 : j = 0 pour j = 0, 1. Pourquoi ce test est-il intressant dans notre contexte ? Que pensez-vous du rsultat ? Exercice 1.6 (Droite de rgression et points aberrants) Douze personnes sont inscrites une formation. Au dbut de la formation, ces stagiaires subissent une preuve A note sur 20. A la n de la formation, elles subissent une preuve B de niveau identique. Les rsultats sont donns dans le tableau suivant : Epreuve A 3 4 6 7 9 10 9 11 12 13 15 4 Epreuve B 8 9 10 13 15 14 13 16 13 19 6 19 1. Reprsenter le nuage de points. Dterminer la droite de rgression. Calculer le coecient de dtermination. Commenter. 2. Deux stagiaires semblent se distinguer des autres. Les supprimer et dterminer la droite de rgression sur les dix points restants. Calculer le coecient de dtermination. Commenter. Exercice 1.7 (Comparaison destimateurs) Nous considrons le modle statistique simple suivant : yi = xi + i , i = 1, , n, [i ] = 0 et Cov(i , i ) = 2 i,j . Nousn i=1 yi . n i=1 xi

o nous supposons que les perturbations i sont telles que dnissons 2 estimateurs de =n i=1 xi yi n 2 i=1 xi

&

=

1. Quelle est la logique de construction de ces 2 estimateurs ? 2. Montrer quils sont sans biais. 3. Montrer que V ( ) > V () sauf dans le cas o tous les xi sont gaux. Ce rsultat tait-il prvisible ?

Rgression


16

Chapitre 1. La rgression linaire simple Exercice 1.8 (Total Least Squares (TLS)) Nous avons un nuage de points observs (xi , yi ) pour i = 1, , n, et nous cherchons un couple (, y ) vriant la relation linaire suivante x y = , x tel que la norme matricielle [x, y] [, y ] x F

soit minimale (rappel : AF

F

=

Tr(AA )).

1. Que reprsente la norme matricielle [x, y] [, y ] x

dun point de vue gomtrique ?

2. Supposons pour simplier que x = y = 0, cest--dire que le centre de gravit du nuage de points est en lorigine du repre. Quel rapport voyez-vous entre TLS et ACP ?

Exercice 1.9 (La hauteur des eucalyptus) On souhaite expliquer la hauteur y (en mtres) dun arbre en fonction de sa circonfrence x (en centimtres) 1m30 du sol. On a relev n = 1429 couples (xi , yi ), le nuage de points tant reprsent gure 1.4. On a obtenu (, y ) = (47, 3; 21, 2) et : x n i=1 n n

(xi x) = 102924 28

2

i=1

(yi y ) = 8857

2

i=1

(xi x)(yi y ) = 26466

26

24

22

20

18

16

14

12

hauteur

Circonfrence10 20 30 40 50 60 70 80

Fig. 1.4 Nuage de points pour les eucalyptus.

1. Calculer la droite des moindres carrs pour le modle y = 1 + 2 x + et la reprsenter sur la gure A.1. 2. Calculer le coecient de dtermination R2 . Commenter la qualit de lajustement des donnes au modle. 3. Avec ces estimateurs, la somme des carrs des rsidus vaut alors n (yi yi )2 = 2052. Si on i=1 suppose les perturbations i gaussiennes, indpendantes et de mme variance 2 , en dduire un estimateur non biais 2 de 2 . 2 de la variance de . 1 4. Donner un estimateur 1

5. Tester lhypothse H0 : 1 = 0 contre H1 : 1 = 0.


Rgression

Chapitre 2

La rgression linaire multipleIntroductionLa modlisation de la concentration dozone dans latmosphre voque au chapitre 1 est relativement simpliste. En eet dautres variables peuvent expliquer cette concentration, par exemple le vent qui pousse les masses dair. Ce phnomne physique est connu sous le nom dadvectance (apport dozone) ou de dilution. Dautres variables tels le rayonnement, la prcipitation, etc. ont une inuence certaine sur la concentration dozone. Lassociation Air Breizh mesure ainsi en mme temps que la concentration dozone dautres variables susceptibles davoir une inuence sur celle-ci. Voici quelques-unes de ces donnes : T12 V N12 O3 23.8 9.25 5 115.4 16.3 -6.15 7 76.8 27.2 -4.92 6 113.8 7.1 11.57 5 81.6 25.1 -6.23 2 115.4 27.5 2.76 7 125 19.4 10.15 4 83.6 19.8 13.5 6 75.2 32.2 21.27 1 136.8 20.7 13.79 4 102.8

Tab. 2.1 10 donnes journalires de temprature, vent, nbulosit et ozone.

La variable V est une variable synthtique. En eet, le vent est normalement mesur en degrs (direction) et mtres par seconde (vitesse). La variable V que nous avons cre est la projection du vent sur laxe Est-Ouest, elle tient donc compte la fois de la direction et de la vitesse. Pour analyser la relation entre la temprature T , le vent V , la nbulosit midi N et lozone O3 , nous allons chercher une fonction f telle que : O3i f (Ti , Vi , Ni ). An de prciser , il va falloir dnir comme au chapitre 1 un critre positif quantiant la qualit de lajustement de la fonction f aux donnes, ou dans un sens contraire le cot de non ajustement. Cette notion de cot permet dapprhender de manire aise les problmes dajustement conomique dans certains modles, do son nom. Minimiser un cot ncessite aussi la connaissance de lespace sur lequel on minimise, cest--dire la classe de fonctions F dans laquelle nous supposerons que se trouve la vraie fonction inconnue. Le problme mathmatique peut scrire de la faon suivante :n

minf F i=1

l(yi f (xi )), 17

(2.1)

18

Chapitre 2. La rgression linaire multiple o n reprsente le nombre de donnes analyser, l(.) est appele fonction de cot et xi est une variable vectorielle pour tout i. La fonction de cot sera la mme que celle utilise prcdemment, cest--dire le cot quadratique. En ce qui concerne le choix de la classe F, nous utiliserons la classe suivante : p j xj . F = f : P , f (x1 , , xp ) = j=1

Ce chapitre est donc la gnralisation naturelle du prcdent, mais nous allons cette fois manipuler sytmatiquement des vecteurs et des matrices la place des scalaires.

2.1

Modlisation

Le modle de rgression linaire multiple est une gnralisation du modle de rgression simple lorsque les variables explicatives sont en nombre quelconque. Nous supposons donc que les donnes collectes suivent le modle suivant : yi = 1 xi1 + 2 xi2 + + p xip + i , i = 1, , n (2.2)

o : les xij sont des nombres connus, non alatoires, la variable xi1 valant souvent 1 pour tout i ; les paramtres j du modle sont inconnus ; les i sont des variables alatoires inconnues. En utilisant lcriture matricielle de (2.2) nous obtenons la dnition suivante : Dnition 2.1 (Modle de rgression linaire multiple) Un modle de rgression linaire est dni par une quation de la forme : Y = X + o : Y est un vecteur alatoire de dimension n, X est une matrice de taille n p connue, appele matrice du plan dexprience, est le vecteur de dimension p des paramtres inconnus du modle, est le vecteur de dimension n des erreurs. Les hypothses concernant le modle sont (H) (H1 ) : rg(X) = p (H2 ) : [] = 0, Var() = 2 In

Lhypothse (H2 ) signie que les erreurs sont centres, de mme variance (homoscdasticit) et non corrles entre elles. Notation. On notera X = [X1 | . . . |Xp ], o Xj est le vecteur de taille n correspondant la j-me variable. La i-me ligne de la matrice X sera elle note x = [xi1 , . . . , xip ]. Ainsi lquation (2.2) i scrit aussi : i {1, . . . , n} Arnaud Guyader - Rennes 2 yi = x + i i Rgression

2.2. Estimateurs des Moindres Carrs Ordinaires

19

2.2

Estimateurs des Moindres Carrs Ordinaires

Comme pour la rgression linaire simple, on va prendre ici une fonction de cot quadratique. On parle encore de Moindres Carrs Ordinaires (MCO). Dnition 2.2 (Estimateur des MCO) Lestimateur des moindres carrs est dni comme suit :n

= arg min p i=1

p j=1

Dans la suite de cette section, nous allons donner lexpression de lestimateur ainsi que certaines de ses proprits.

yi

j xij = arg min Y X 2 . p

2

(2.3)

2.2.1

Calcul de

Pour dterminer , une mthode consiste se placer dans lespace des variables, comme on la fait au chapitre 1. Rappelons brivement le principe : Y = [y1 , . . . , yn ] est le vecteur des variables expliquer. La matrice du plan dexprience X = [X1 | . . . |Xp ] est forme de p vecteurs colonnes (la premire colonne tant gnralement constitue de 1). Le sous-espace de n engendr par les p vecteurs colonnes de X est appel espace image, ou espace des solutions, et not M(X). Il est de dimension p par lhypothse (H1 ) et tout vecteur de cet espace est de la forme X, o est un vecteur de p : X = 1 X1 + + p Xp . M (X) Y

M(X)

X

X X X

Fig. 2.1 Reprsentation de X dans lespace des variables.

Selon le modle (2.3), le vecteur Y est la somme dun lment de M(X) et dun bruit lment de n , lequel na aucune raison dappartenir M(X). Minimiser Y X 2 revient chercher un lment de M(X) qui soit le plus proche de Y au sens de la norme euclidienne classique. Cet unique lment est, par dnition, le projet orthogonal de Y sur M(X). Il sera not Y = PX Y , o PX est la matrice de projection orthogonale sur M(X). Cet lment de M(X) est aussi not Y = X , o est lestimateur des MCO de . Lespace orthogonal M(X), not M (X), est souvent appel espace des rsidus. Proposition 2.1 (Expression de ) des Moindres Carrs Ordinaires a pour expression : Lestimateur = (X X)1 X Y, Rgression Arnaud Guyader - Rennes 2

20 et la matrice de projection PX sur M(X) scrit :

Chapitre 2. La rgression linaire multiple

PX = X(X X)1 X . Remarque. Lhypothse (H1 ) assure que la matrice X X est bien inversible. Supposons en eet quil existe un vecteur de p tel que (X X) = 0. Ceci impliquerait que X 2 = (X X) = 0, donc X = 0, do = 0 puisque rg(X) = p. Autrement dit la matrice symtrique X X est dnie positive. Preuve. On peut prouver ce rsultat de plusieurs faons. 1. Par direntiation : on cherche p qui minimise la fonction S() = Y X2

= (X X) (Y X + X Y ) + Y

2

.

Or S est une forme quadratique en , avec X X qui est symtrique dnie positive, donc le problme admet une unique solution : cest le point o la drive de S par rapport est nulle. Ceci scrit : S () = 2X X 2X Y = 0. Puisque la matrice X X est inversible par (H1 ), ceci donne = (X X)1 X Y et puisque = PX Y = X = X(X X)1 X Y et que cette relation est valable pour tout par dnition Y Y n , on en dduit que PX = X(X X)1 X . 2. Par projection : une autre faon de procder consiste dire que le projet orthogonal Y = Y est dni comme lunique vecteur tel que (Y Y ) soit orthogonal M(X). Puisque M(X) est engendr par les vecteurs X1 , . . . , Xp , cest quivalent dire que (Y Y ) est orthogonal chacun des Xi : X1 , Y X = 0 . . . Xp , Y X = 0 Ces p quations se regroupent en une seule : X (Y X ) = 0, do lon dduit bien lexpres puis celle de PX . sion de ,

Dornavant nous noterons PX = X(X X)1 X la matrice de projection orthogonale sur M(X) et PX = (I PX ) la matrice de projection orthogonale sur M (X). La dcomposition Y = Y + (Y Y ) = PX Y + (I PX )Y = PX Y + PX Y nest donc rien de plus quune dcomposition orthogonale de Y sur M(X) et M (X). Achtung ! La dcomposition Y = 1 X1 + + p Xp

signie que les i sont les coordonnes de Y dans la base (X1 , . . . , Xp ) de M(X). Il ne faudrait pas croire pour autant que les i sont les coordonnes des projections de Y sur les Xi : ceci nest vrai que si la base (X1 , . . . , Xp ) est orthogonale. Rappels sur les projecteurs. Soit P une matrice carre de taille n. On dit que P est une matrice de projection si P 2 = P . Ce nom est d au fait que pour tout vecteur x de n , P x est la projection de x sur Im(P ) paralllement Ker(P ). Si en plus de vrier P 2 = P , la matrice P est symtrique, Arnaud Guyader - Rennes 2 Rgression

2.2. Estimateurs des Moindres Carrs Ordinaires alors P est la projection orthogonale de x sur Im(P ) paralllement Ker(P ), cest--dire que dans la dcomposition x = P x + (x P x), les vecteurs P x et (x P x) sont orthogonaux. Cest ce cas de gure qui nous concernera dans ce cours. Toute matrice symtrique relle tant diagonalisable en base orthonorme, il existe une matrice orthogonale U (i.e. U U = In , ce qui signie que les colonnes de U forment une base orthonorme de n ) et une matrice diagonale telles que P = U U . On voit alors facilement que la diagonale de est compose de p 1 et de (n p) 0, o p est la dimension de Im(P ), espace sur lequel on projette.2 Revenons nos moutons : on a vu que PX = X(X X)1 X . On vrie bien que PX = PX et que PX est symtrique. Ce qui prcde assure galement que Tr(PX ) = p et Tr(PX ) = n p. Cette dernire remarque nous sera utile pour construire un estimateur sans biais de 2 . Dautre part, la matrice PX est souvent note H (comme Hat) dans la littrature anglo-saxonne, car elle met des chapeaux sur les vecteurs : PX Y = Y . De fait, les lements de PX sont nots (hij )1i,jn .

21

2.2.2

Quelques proprits

Comme en rgression simple, lestimateur obtenu est sans biais. On obtient de plus une expression trs simple pour sa matrice de covariance Var(). On rappelle que la matrice de covariance, ou matrice de variance-covariance, ou matrice de dispersion, du vecteur alatoire est par dnition : Var() = [( [])( []) ] = [ ] [] [] .

On a alors pour toute matrice A et tout vecteur B dterministes : Var(A + B) = AVar()A . Proposition 2.2 (Biais et matrice de covariance) Lestimateur des moindres carrs est sans biais, i.e. [] = , et sa matrice de covariance est : V () = 2 (X X)1 . Preuve. Pour le biais il sut dcrire : [] = et puisque [(X X)1 X Y ] = (X X)1 X [Y ] = (X X)1 X [X + ], [] = (X X)1 X X = . Pour la variance, on procde de mme : Var() = Var((X X)1 X Y ) = (X X)1 X Var(Y )X(X X)1 , or Var(Y ) = Var(X + ) = Var() = 2 In , donc : Var() = 2 (X X)1 X X(X X)1 = 2 (X X)1 .

[] = 0, il vient :

Lestimateur des MCO est optimal en un certain sens. Cest ce que prcise le rsultat suivant, gnralisation de celui vu en rgression linaire simple. Thorme 2.1 (Gauss-Markov) Lestimateur des MCO est de variance minimale parmi les estimateurs linaires sans biais de . Remarques : Rgression Arnaud Guyader - Rennes 2

22

Chapitre 2. La rgression linaire multiple 1. Linaire signie linaire par rapport Y , cest--dire de la forme AY o A est une matrice (p, n) : en ce sens, lestimateur des MCO est bien linaire puisque = (X X)1 X Y . 2. On rappelle quil existe une relation dordre partielle entre matrices symtriques relles : dire que S1 S2 signie que S = (S2 S1 ) est une matrice symtrique relle positive, cest--dire que pour tout vecteur x, on a x S1 x x S2 x. Preuve. Nous allons montrer que, pour tout autre estimateur de linaire et sans biais, Var() Var(), o lingalit entre matrices de variance-covariance est comprendre au sens prcis cidessus. Rappelons la formule gnrale pour la matrice de covariance de la somme deux vecteurs alatoires U et V : Var(U + V ) = Var(U ) + Var(V ) Cov(U, V ) Cov(V, U ), o Cov(U, V ) = [U V ] [U ] [V ] = Cov(V, U ) . Dcomposons ainsi la variance de :

Var() = Var( + ) = Var( ) + Var() Cov( , ) Cov(, ). Les variances tant dnies positives, si nous montrons que Cov( , ) = 0, nous aurons ni la dmonstration. Puisque est linaire, = AY . De plus, nous savons quil est sans biais, cest--dire = pour tout , donc AX = I. La covariance devient : [] Cov( , ) = Cov(AY, (X X)1 X Y ) Var()

= 2 AX(X X)1 2 (X X)1 = 0.

2.2.3

Rsidus et variance rsiduelle

Les rsidus sont dnis par = Y Y = (I PX )Y = PX Y = PX , car Y = X + et X M(X). On peut alors noncer les rsultats suivants. Proprits 2.1 (Biais et Variance de et Y ) Sous le jeu dhypothses (H), on a : 1. [] = 0. 2. Var() = 2 PX . 3. [Y ] = X. 4. Var(Y ) = 2 PX . 5. Cov(, Y ) = 0. Preuve. 1. 3. [] = [PX ] = PX [] = 0. 2. Var() = PX Var()PX = PX Var()PX = 2 PX .

[Y ] = [PX Y ] = PX [Y ] = PX (X) = X, car X M(X). 4. Var(Y ) = PX Var(Y )PX = PX Var(Y )PX = 2 PX . 5. Rappelons que la covariance entre deux vecteurs alatoires U et V est par dnition Cov(U, V ) = Arnaud Guyader - Rennes 2 [(U [U ])(V [V ]) ] = [U V ] [U ] [V ]. Rgression

2.2. Estimateurs des Moindres Carrs Ordinaires Ici ceci donne :

23

[Y ] [] [Y ] = On utilise maintenant les expressions de et Y : Cov(, Y ) = Cov(, Y ) =

[Y ].

[PX (PX (X + )) ],

et le premier terme tant nul, il reste : Cov(, Y ) = [PX PX ] = 2 PX PX = 0, tant il est clair que PX PX = 0. Contrairement celles de , les composantes de sont gnralement corrles entre elles. Pour que soit un estimateur raisonnable de , il faudrait au moins que les lments diagonaux hii de PX soient approximativement gaux. An dliminer la non-homognit des variances des rsidus estims, nous prfrerions donc utiliser les rsidus normaliss dnis par : i ri = . 1 hii Comme est inconnu, il est dusage de le remplacer par son estimateur. Les rsidus dnis par : i , ti = 1 hii sont appels rsidus studentiss, mme sils ne suivent pas une loi de Student ! Nous tudierons les rsidus plus en dtails au chapitre 4. En attendant, un estimateur naturel de la variance rsiduelle est donn par : 1 nn

i = i=1

1 2. n

Malheureusement on va voir que cet estimateur est biais. Ce biais est nanmoins facile corriger, comme le montre le rsultat suivant. Proposition 2.3 La statistique 2 = 2 np SCR np

=

est un estimateur sans biais de 2 .

Preuve. Nous calculons ce qui donne :

[ 2 ]. Ruse de sioux : puisque cest un scalaire, il est gal sa trace, [ 2] = [Tr( 2 )] = [Tr( )], i,j

et puisque pour toute matrice A, on a Tr(AA ) = Tr(A A) = [ 2] =

a2 , il vient : ij

[Tr( )] = Tr( [ ]) = Tr(Var()) = Tr( 2 PX ).

Et comme PX est la matrice de la projection orthogonale sur un espace de dimension (n p), on a bien : [ 2 ] = (n p) 2 . On dduit de cet estimateur de 2 de la variance rsiduelle 2 un estimateur de la variance 2 SCR 1 2 (X X)1 = (X X) , np np et en particulier un estimateur de lcart-type de lestimateur j du j-me coecient de la rgression : j = [(X X)1 ]jj . = 2 (X X)1 = 2 Rgression Arnaud Guyader - Rennes 2 (X X)1 :

24


2.2.4

Prvision

Un des buts de la rgression est de proposer des prdictions pour la variable expliquer y lorsque nous avons de nouvelles valeurs de x. Soit donc x n+1 = [xn+1,1 , , xn+1,p ] une nouvelle valeur pour laquelle nous voudrions prdire yn+1 , dni par : yn+1 = x + n+1 , n+1 avec [n+1 ] = 0, Var(n+1 ) = 2 et Cov(n+1 , i ) = 0 pour i = 1, , n. La mthode naturelle est de prdire la valeur correspondante grce au modle ajust : yn+1 = x . n+1 Deux types derreurs vont alors entacher notre prvision : la premire due lincertitude sur n+1 et lautre lincertitude inhrente lestimateur . On vrie aisment que yn+1 est un estimateur sans biais de yn+1 . Calculons la variance de lerreur de prvision Var (yn+1 yn+1 ) = Var(x + n+1 x ) = 2 + x Var()xn+1 n+1 n+1 n+1 = 2 (1 + x (X X)1 xn+1 ). n+1 Nous retrouvons bien lincertitude dobservation 2 laquelle vient sajouter lincertitude destimation.

2.3

Interprtation gomtrique

M (X) Y

0 Y = X M(X) y

Fig. 2.2 Reprsentation des variables.

Le thorme de Pythagore nous donne directement : Y2

= =

Y

2

+ 2

2

X

+ Y X 2. Rgression


2.4. Exemple Si la constante fait partie du modle alors nous avons, toujours par Pythagore : Y y 2

25

=

Variation totale = V. explique par le modle + V. rsiduelle. Dnition 2.3 Le coecient de dtermination R2 est dni par : R2 = Y Y2 2

Y y

2

+

2

=1

Y

2 2

,

(2.4)

et si la constante fait partie de M(X) par : R2 =

Y y V. explique par le modle = Variation totale Y y

2 2

=1

2 Y Y

2

.

Ce coecient mesure le cosinus carr de langle entre les vecteurs Y et Y pris lorigine ou pris en 2 calcul lorsque la constante fait partie y . Ce dernier est toujours plus grand que le premier, le R de M(X) est donc plus petit que le R2 calcul directement (exercice). Nanmoins, ce coecient ne tient pas compte de la dimension de lespace de projection M(X), un R2 ajust est donc dni. Dnition 2.4 2 Le coecient de dtermination ajust Ra est dni par :2 Ra = 1

n np Y

2 2

,

(2.5)

et si la constante fait partie de M(X) par :2 Ra = 1

2 n1 np Y Y

2

.

2.4

Exemple

Nous allons traiter 50 donnes journalires prsentes en annexe. La variable expliquer est la concentration en ozone note O3 et les variables explicatives sont la temprature note T12, le vent not Vx et la nbulosit note Ne12. Les donnes sont traites avec le logiciel R. > a _ lm(O3 T12 +Vx+Ne12,data=DONNEE) > summary(a) Call : lm(formula = O3 T12 + Vx + Ne12, data = DONNEE)) Residuals : Min -29.0441 Coefficients : (Intercept) T12 Vx Ne12 Rgression Estimate 84.5483 1.3150 0.4864 -4.8935 Std. Error 13.6065 0.4974 0.1675 1.0270 t value 6.214 2.644 2.903 -4.765 Pr(>|t|) 1.38e-07 0.01118 0.00565 1.93e-05 *** * ** *** Arnaud Guyader - Rennes 2 1Q -8.4833 Median 0.7857 3Q 7.7011 Max 28.2919

26

Chapitre 2. La rgression linaire multiple Signif. codes : 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error : 13.91 on 46 degrees of freedom Multiple R-Squared : 0.6819, Adjusted R-squared : 0.6611 F-statistic : 32.87 on 3 and 46 DF, p-value : 1.663e-11 Les interprtations des sorties sont similaires celles obtenues pour la rgression simple.

2.5

Exercices

Exercice 2.1 (QCM) 1. Nous avons eectu une rgression multiple, une des variables explicatives est la constante, la somme des rsidus calculs vaut : A. 0 ; B. approximativement 0 ; C. parfois 0. 2. Le vecteur Y est-il orthogonal au vecteur des rsidus estims ? A. Oui ; B. Non ; C. Seulement si

fait partie des variables explicatives.

3. Un estimateur de la variance de , estimateur des MC de , vaut : 2 (X X)1 ; A. B. 2 (X X)1 ; C. 2 (XX )1 . 4. Un autre estimateur que celui des moindres carrs (moindres valeurs absolues ou autre) a t calcul. La SCR obtenue avec cet estimateur est : A. plus petite que la SCR obtenue avec lestimateur des MC classique ; B. plus grande que la SCR obtenue avec lestimateur des MC classique ; C. aucun rapport. 5. Une rgression a t eectue et le calcul de la SCR a donn la valeur note SCR1. Une variable est rajoute, le calcul de la SCR a donn une nouvelle valeur note SCR2. Nous savons que : A. SCR1 SCR2 ; B. SCR1 SCR2 ; C. cela dpend de la variable rajoute. 6. Une rgression a t eectue et un estimateur de la variance rsiduelle a donn la valeur note 1 . Une variable est rajoute et un estimateur de la variance rsiduelle vaut maintenant 2 2 . Nous savons que : 2 A. 1 2 ; 2 2 B. 1 2 ; 2 2 C. on ne peut rien dire. Exercice 2.2 (Rgression simple et Rgression multiple) Retrouvez partir du calcul matriciel vu en rgression multiple les estimateurs des Moindres Carrs Ordinaires obtenus lorsque le modle est celui vu pour la rgression simple : y = 1 + 2 x + . Arnaud Guyader - Rennes 2 Rgression

2.5. Exercices Exercice 2.3 (Rle de la constante) Soit X(n,p) une matrice de rang p. Soit Y la projection dun vecteur Y de n sur lespace engendr par les colonnes de X. Montrer que si un des vecteurs colonnes de X est constant, alors i yi = i yi . Exercice 2.4 (Le R2 et les modles embots) Soit Z(n,q) une matrice (n, q) de rang q et soit X(n,p) une matrice (n, p) de rang p compose des q vecteurs colonnes de Z et de p q autres vecteurs linairement indpendants. Nous avons les deux modles suivants : Y Y = Z + = X + .

27

On considre pour simplier que la constante est prsente dans les deux modles. Comparer les R2 dans ces deux modles. Discuter de lutilisation du R2 pour le choix de variables. Exercice 2.5 (Deux variables explicatives) On examine lvolution dune variable Y en fonction de deux variables exognes x et z. On dispose de n observations de ces variables. On note X = ( x z) o est le vecteur constant et x, z sont les vecteurs des variables explicatives. 1. Nous avons obtenu les rsultats suivants : 25 0 0 0.04 0 0 X X = ? 9.3 5.4 (X X)1 = 0 0.1428 0.0607 . ? ? 12.7 0 0.0607 0.1046 (a) Donner les valeurs manquantes. (b) Que vaut n ? (c) Calculer le coecient de corrlation linaire empirique entre x et z. 2. La rgression linaire de Y sur (, x, z) donne Y = 1.6 + 0.61x + 0.46z + , (a) Dterminez la moyenne empirique Y . (b) Calculer la somme des carrs explique (SCE), la somme des carrs totale (SCT) et le coecient de dtermination. Exercice 2.6 (Rgression sur variables orthogonales) Nous considrons le modle de rgression linaire Y = X + , o Y n , X est une matrice de taille n p compose de p vecteurs orthogonaux, p et n . Considrons Z la matrice des q premires colonnes de X et U la matrice des (p q) dernires colonnes de X. Nous avons obtenu par les MCO les estimations suivantes : YX YZ YU X X = 1 x1 + + p xp = Z x1 + + Z xq =1 U q+1 xq+1 q

SCR =

2

= 0.3.

U + + p xp .

Notons galement SCE(A) la norme au carr de PA Y . Rgression Arnaud Guyader - Rennes 2

28 1. Montrer que SCE(X)=SCE(Z)+SCE(U ).


2. Choisissez arbitrairement une variable xi et montrez que lestimation de i est identique quel que soit le modle utilis. Exercice 2.7 (Rgression sur variables centres) Nous considrons le modle de rgression linaire Y = X + , (2.6)

o Y n , X est une matrice de taille n p de rang p, p et n . La premire colonne de X est le vecteur constant . X peut donc scrire X = [, Z] o Z = [X2 , . . . , Xp ] est la matrice n (p 1) des (p 1) derniers vecteurs colonnes de X. Le modle peut donc scrire sous la forme : Y = 1 + Z(1) + , o 1 est la premire coordonne du vecteur et (1) reprsente le vecteur priv de sa premire coordonne. 1. Donner la matrice P de la projection orthogonale sur le sous-espace engendr par le vecteur . 2. En dduire la matrice de projection orthogonale P sur le sous-espace vecteur .

orthogonal au

3. Calculer P Z. 4. En dduire que lestimateur de des Moindres Carrs Ordinaires du modle (2.6) peut tre obtenu en minimisant par les MCO le modle suivant : Y = Z(1) + , (2.7)

o Y = P Y et Z = P Z. 5. Ecrire la SCR estime dans le modle (2.7) en fonction des variables du modle (2.7). Vrier que la SCR du modle (2.7) est identique celle qui serait obtenue par lestimation du modle (2.6).


Rgression

Chapitre 3

Le modle gaussienIntroductionRappelons le contexte du chapitre prcdent. Nous avons suppos un modle de la forme : yi = x + i = 1 xi1 + 2 xi2 + + p xip + i , i que nous avons rcrit sous la forme matricielle : Yn1 = Xnp p1 + n1 o les dimensions sont indiques en indices. Les hypothses concernant le modle taient : (H) (H1 ) : rg(X) = p (H2 ) : [] = 0, Var() = 2 In i = 1, , n

Dans tout ce chapitre et comme en n de Chapitre 1, nous allons faire une hypothse plus forte, savoir celle de gaussianit des rsidus. Nous supposerons donc dsormais : (H) (H1 ) : rg(X) = p (H2 ) : N (0, 2 In )

Ceci signie que le rsidus sont indpendants et identiquement distribus. Lintrt de supposer laspect normal des rsidus est de pouvoir en dduire les lois de nos estimateurs, donc de construire des rgions de conance et des tests dhypothse.

3.1

Estimateurs du Maximum de Vraisemblance

Nous allons commencer par faire le lien entre lestimateur du maximum de vraisemblance et lestimateur des moindres carrs vu au chapitre prcdent. Calculons donc la vraisemblance : 2 p n n n 1 1 yi exp 2 j xij fY (yi ) = L(Y, , 2 ) = 2 2 2i=1 i=1 j=1

=

1

n

2 2

exp

1 Y X 2 2

2

Do lon dduit la log-vraisemblance : n n 1 log L(Y, , 2 ) = log 2 log 2 2 Y X 2 . 2 2 2 29

30

Chapitre 3. Le modle gaussien On cherche les estimateurs mv et mv qui maximisent cette log-vraisemblance. Il est clair quil faut 2 minimiser la quantit Y X 2 , ce qui est justement le principe des moindres carrs ordinaires, donc : mv = = (X X)1 X Y. Une fois ceci fait, on veut maximiser sur une fonction de la forme (x) = a log x + + qui ne pose aucun souci en passant par la drive : L(Y, , 2 ) 2 do il vient : mv = 2 Y X mv n2 b x

+ c, ce

=

n 1 + 4 Y X 2 , 2 2 2

. Y X np2

Si lon compare ce quon a obtenu au chapitre prcdent, o nous avons not 2 = 2 des rsidus, nous avons donc : lestimateur de la variance mv = 2 np 2 . n

On voit donc que lestimateur mv du maximum de vraisemblance est biais, dautant moins que 2 le nombre p de variables explicatives est petit devant le nombre n dobservations. Dans la suite, nous continuerons considrer lestimateur 2 des moindres carrs vu au chapitre prcdent et nous conserverons aussi la notation adopte pour les rsidus i , de sorte que : = 2 n 2 i=1 i

np

=

2 Y X = np np

2

.

3.2

Nouvelles proprits

Nous commenons cette section par un rappel sur les vecteurs gaussiens. Un vecteur alatoire Y de n est dit gaussien si toute combinaison linaire de ses composantes est une variable alatoire gaussienne. Ce vecteur admet alors une esprance = [Y ] et une matrice de variance-covariance Y = [(Y )(Y ) ] qui caractrisent compltement sa loi. On note dans ce cas Y N (, Y ). On montre alors que les composantes dun vecteur gaussien Y = [Y1 , , Yn ] sont indpendantes si et seulement si Y est diagonale. Soit Y N (, Y ) un vecteur gaussien. Il admet une densit f sur n si et seulement si sa matrice de dispersion Y est inversible, auquel cas : f (y) = 1 (2)n/2 det(Y ) e 2 (y) Y1 1

(y)

.

Dans ce cas, on montre aussi que : (Y ) 1 (Y ) 2 n Y Le thorme de Cochran, trs utile dans la suite, montre que la dcomposition dun vecteur gaussien sur des sous-espaces orthogonaux donne des variables indpendantes dont on peut expliciter les lois. Thorme 3.1 (Cochran) Soit Y N (, 2 In ), M un sous-espace de n de dimension p et P la matrice de projection orthogonale sur M. Nous avons les proprits suivantes : Arnaud Guyader - Rennes 2 Rgression

3.2. Nouvelles proprits (i) P Y N (P , 2 P ) ; (ii) les vecteurs P Y et (Y P Y ) sont indpendants ; 2 (iii) P (Y) 2 , loi du chi-deux p degrs de libert. 2 p Nous pouvons appliquer ce rsultat dans notre cadre. Notons au pralable que, pour ce qui nous concerne, la gaussianit des rsidus implique celle du vecteur Y : Y N (X, 2 In ). Proprits 3.1 (Lois des estimateurs avec variance connue) Sous les hypothses (H), nous avons : (i) est un vecteur gaussien de moyenne et de variance 2 (X X)1 : N (, 2 (X X)1 ) ; et 2 sont indpendants ; (ii) 2 (iii) (n p) 2 2 . np Preuve. (i) Nous avons vu que = (X X)1 X Y = (X X)1 X (X + ), or par hypothse N (0, 2 In ) est un vecteur gaussien. On en dduit que est lui aussi un vecteur gaussien, sa loi est donc entirement caractrise par la donne de sa moyenne et de sa matrice de dispersion, lesquelles ont t calcules dans le chapitre prcdent. (ii) Comme dans le chapitre prcdent, notons M(X) le sous-espace de n engendr par les colonnes de X et PX = X(X X)1 X la projection orthogonale sur ce sous-espace. On peut noter que : = (X X)1 X Y = (X X)1 X (X(X X)1 X )Y = (X X)1 X PX Y, donc est un vecteur alatoire fonction de PX Y , tandis que : 2 = 2 Y PX Y = np np2

31

est une variable alatoire fonction de (Y PX Y ). Par le thorme de Cochran, nous savons que les vecteurs PX Y et (Y PX Y ) sont indpendants, il en va donc de mme pour toutes fonctions de lun et de lautre. (iii) En notant PX la projection orthogonale sur M (X), sous-espace de dimension (n p) de n , on a : = (Y PX Y ) = PX Y = PX (X + ) = PX , o N (0, 2 In ). Il sensuit par le thorme de Cochran que : (n p) PX 2 = 2 22

=

PX ( 2

[])

2

= 2 . np

Bien entendu le premier point du rsultat prcdent nest pas satisfaisant pour obtenir des rgions de conance sur car il suppose la variance 2 connue, ce qui nest pas le cas en gnral. La proposition suivante pallie cette insusance. Proprits 3.2 (Lois des estimateurs avec variance inconnue) Sous les hypothses H, nous avons j j j j = Tnp . (i) pour j = 1, . . . , p, nous avons Tj = j (X X)1 jj

Rgression


32 (ii) Soit R une matrice de taille q p de rang q (q p) alors : 1 (R( )) R(X X)1 R q 2 1

Chapitre 3. Le modle gaussien

q R( ) Fnp .

Preuve. (i) Daprs la proposition prcdente, on sait dune part que j N (j , 2 (X X)1 ), dautre jj 2 part que (n p) 2 2 et enn que j et 2 sont indpendants. Il reste alors crire Tj sous np la forme : Tj = j q j (X X)1 jj

pour reconnatre une loi de Student Tnp . (ii) Commenons par remarquer que la matrice carre R(X X)1 R de taille q est inversible puisque (X X)1 est de rang plein dans p , avec p q. En tant que transforme linaire dun vecteur gaussien, R est un vecteur gaussien de moyenne R et de matrice de covariance 2 R(X X)1 R . On en dduit que : 1 (R( )) R(X X)1 R 21

R( ) 2 . np

2 2 Il reste remplacer 2 par 2 en se souvenant que (n p) 2 2 np et que et sont indpendants. On obtient bien alors la loi de Fisher annonce.

De ces rsultats vont dcouler les rgions de conance de la section suivante. Auparavant, donnons un exemple illustrant le second point du rsultat que lon vient dtablir. Exemple. Considrons p 2 et la matrice R dnie comme suit : R= de sorte que R( ) = 1 1 2 2 . 1 0 0 0 0 1 0 0 0 0 ,

Si on note cij le terme gnral de (X X)1 , on obtient donc : c22 (1 1 )2 2c12 (1 1 )(2 2 ) + c11 (2 2 )2 2 Fnp . 2 2 (c11 c22 c2 ) 12

3.3

Intervalles et rgions de conance

Les logiciels et certains ouvrages donnent des intervalles de conance (IC) pour les paramtres pris sparment. Cependant ces intervalles de conance ne tiennent pas compte de la dpendance des paramtres, ce qui conduirait construire plutt des rgions de conance (RC). Nous allons donc traiter les deux cas, en considrant que 2 est inconnu.


Rgression

3.3. Intervalles et rgions de conance Thorme 3.2 (Intervalles et Rgions de Conance) (i) Un intervalle de conance de niveau (1 ) de j pour j = 1, , p est : j tnp (1 /2) (X X)1 , j + tnp (1 /2) jj (X X)1 , jj

33

o tnp (1 /2) est le quantile de niveau (1 /2) dune loi de Student Tnp . (ii) Un intervalle de conance de niveau (1 ) pour 2 est : (n p) 2 (n p) 2 , c2 c1 o

(c1 2 c2 ) = 1 . np

(iii) Une rgion de conance de niveau (1 ) pour q (q p) paramtres j nots (j1 , , jq ) est R q : 1 q (R( )) (R(X X)1 R )1 (R( )) fnp (1 ) , q 2 (3.1)

o R est la matrice de taille q p dont tous les lments sont nuls sauf les Ri,ji , qui valent 1, q q et fnp (1 ) est le quantile de niveau (1 ) dune loi de Fisher Fnp . Preuve. Il sut dappliquer les rsultats de la Proposition 3.2. Exemple. Si on reprend lexemple de la section prcdente pour le choix de la matrice R, le rsultat que lon vient de montrer permet dobtenir une rgion de conance simultane pour (1 , 2 ) : RC(1 , 2 ) = (1 , 2 ) 2 : c22 (1 1 )2 2c12 (1 1 )(2 2 ) + c11 (2 2 )2 2 fnp (1 ) . 2 (c c c2 ) 2 11 22 12

Cette rgion de conance est une ellipse qui tient compte de la corrlation entre 1 et 2 . La gure 3.1 permet de faire le distinguo entre intervalles de conance considrs sparment pour 1 et 2 et rgion de conance simultane pour (1 , 2 ). Bien entendu, de faon gnrale, si les j ne sont pas fortement corrls, alors les rgions paralllpipdiques dnies par les IC sont une bonne approximation de lellipsode.

2

4

2

4

2

0

4

2

0 1

2

4

Fig. 3.1 Comparaison entre ellipse et rectangle de conance.

Rgression


34


3.4

Prvision

Soit x n+1 = [xn+1,1 , , xn+1,p ] une nouvelle valeur pour laquelle nous voulons prdire la variable expliquer yn+1 dnie par : yn+1 = x + n+1 , n+1 avec n+1 N (0, 2 ) indpendant des (i )1in . A partir des n observations prcdentes, nous avons pu calculer un estimateur de . Nous nous servons de cet estimateur pour prvoir yn+1 par : yn+1 = x . n+1 Pour quantier lerreur de prvision (yn+1 yn+1 ), on utilise la dcomposition : yn+1 yn+1 = x ( ) + n+1 , n+1 qui est la somme de deux variables gaussiennes indpendantes puisque est construit partir des (i )1in . On en dduit que (yn+1 yn+1 ) est une variable gaussienne, dont moyenne et variance ont t calcules au chapitre prcdent. On en conclut que : yn+1 yn+1 N (0, 2 (1 + x (X X)1 xn+1 )) n+1 Mieux, nous pouvons donner un intervalle de conance pour yn+1 . Proposition 3.1 (Intervalle de Conance pour la prvision) Un intervalle de conance de niveau (1 ) pour yn+1 est donn par : x tnp (1 /2) n+1 1 + x (X X)1 xn+1 , x + tnp (1 /2) n+1 n+1 yn+1 yn+1 1 + x (X X)1 xn+1 . n+1

Preuve. Daprs ce qui a t dit auparavant, on a : 1 + x (X X)1 xn+1 n+1 N (0, 1).

On procde donc comme dhabitude en faisant intervenir : yn+1 yn+1 =

yn+1 n+1 y 1+x (X X)1 xn+1 n+1

1 + x (X X)1 xn+1 n+1

.

On remarque que le numrateur suit une loi normale centre rduite, le dnominateur est la racine dun chi-deux (n p) ddl divis par (n p). Il reste voir que numrateur et dnominateur sont indpendants, or yn+1 yn+1 = xn+1 ( ) + n+1 et est indpendant la fois de (cf. Proprits 3.1) et de n+1 (puisque ne dpend que des (i )1in ). On en conclut que : 1 + x (X X)1 xn+1 n+1 yn+1 yn+1 Tnp ,

do se dduit lintervalle de conance de lnonc. Aprs avoir explicit les lois de nos estimateurs et les intervalles ou rgions de conance associs, la suite naturelle est de construire des tests dhypothses. Cest ce que nous allons faire dans la section suivante. Arnaud Guyader - Rennes 2 Rgression

3.5. Tests dhypothses

35

3.53.5.1

Tests dhypothsesIntroduction

Reprenons lexemple de la prvision des pics dozone vu en dbut de Chapitre 2. Nous avons dcid de modliser les pics dozone O3 par la temprature midi T , le vent V (ou plus prcisment sa projection sur laxe Est-Ouest) et la nbulosit midi N . Il parat alors raisonnable de se poser par exemple les questions suivantes : 1. Est-ce que la valeur de O3 est inuence par la variable vent V ? 2. Y a-t-il un eet nbulosit ? 3. Est-ce que la valeur de O3 est inuence par le vent V ou la temprature T ? Rappelons que le modle utilis est le suivant : O3i = 1 + 2 Ti + 3 Vi + 4 Ni + i . En termes de tests dhypothses, les questions ci-dessus se traduisent comme suit : 1. correspond H0 : 3 = 0, contre H1 : 3 = 0. 2. correspond H0 : 4 = 0, contre H1 : 4 = 0. 3. correspond H0 : 2 = 3 = 0, contre H1 : 2 = 0 ou 3 = 0. Ces tests dhypothses reviennent tester la nullit dun ou plusieurs paramtres en mme temps. Si lon teste plusieurs paramtres la fois, on parle de nullit simultane des coecients. Ceci signie que, sous lhypthse H0 , certains coecients sont nuls, donc les variables correspondant ceux-ci ne sont pas utiles pour la modlisation du phnomne. Ce cas de gure revient comparer deux modles embots, lun tant un cas particulier de lautre. Le plan dexprience priv de ces variables sera not X0 et les colonnes de X0 engendreront un sous-espace not M0 = M(X0 ). De mme, pour allger les notations, nous noterons M = M(X) lespace engendr par les colonnes de X. Le niveau des tests sera x de faon classique .

3.5.2

Tests entre modles embots

Rappelons tout dabord le modle : Y = X + sous les hypothses (H) (H1 ) : rg(X) = p (H2 ) : N (0, 2 In )

En particulier, cela veut dire que [Y ] = X M, sous-espace de dimension p de n engendr par les colonnes de X. Pour faciliter les notations, on suppose vouloir tester la nullit simultane des q = (p p0 ) derniers coecients du modle (avec q p of course !). Le problme scrit alors de la faon suivante : H0 : p0 +1 = = p = 0 contre H1 : j {p0 + 1, , p} : j = 0.

Que signie H0 : p0 +1 = = p = 0 en termes de modle ? Si les q derniers coecients sont nuls, le modle devient Y = X0 0 + 0 Rgression sous les hypothses (H) (H1 ) : rg(X0 ) = p0 (H2 ) : 0 N (0, 2 In ) Arnaud Guyader - Rennes 2

36

Chapitre 3. Le modle gaussien La matrice X0 , de taille n p0 , est compose des p0 premires colonnes de X et 0 est un vecteur colonne de taille p0 . Puisque X est suppose de rang p, il est clair que X0 est de rang p0 , donc les colonnes de X0 engendrent un sous-espace M0 de n de dimension p0 . Ce sous-espace M0 est bien videmment aussi un sous-espace de M. Sous lhypothse nulle H0 , lesprance de Y , savoir [Y ] = X0 0 , appartiendra ce sous-espace. Maintenant que les hypothses du test sont xes, il faut proposer une statistique de test. Nous allons voir une approche gomtrique et intuitive de laaire. Approche gomtrique Considrons le sous-espace M0 . Nous avons crit que sous H0 : [Y ] = X0 0 M0 . Dans ce cas, la mthode des moindres carrs consiste projeter Y non plus sur M et obtenir Y , mais sur M0 et obtenir Y0 . Visualisons ces direntes projections sur la gure 3.2.

Y

0

Y Y0 M Fig. 3.2 Reprsentation des projections. M0

Lide intuitive du test, et donc du choix de conserver ou non H0 , est la suivante : si la projection Y0 de Y dans M0 est proche de la projection Y de Y dans M, alors il semble intuitif de conserver lhypothse nulle. En eet, si linformation apporte par les deux modles est la mme, il vaut mieux conserver le modle le plus petit : cest le principe de parcimonie. Il faut videmment quantier le terme proche. De faon naturelle, nous pouvons utiliser la distance euclidienne entre Y0 et Y , ou son carr Y Y0 2 . Cependant cette distance sera variable selon les donnes et selon les units de mesures utilises. Pour nous aranchir de ce problme dchelle, nous allons standardiser cette distance en la divisant par la norme au carr de lerreur estime 2 = Y Y 2 = (n p) 2 . Les vecteurs alatoires (Y Y0 ) et nappartenant pas des sous-espaces de mme dimension, il faut diviser chaque terme par son degr de libert respectif. Nous arrivons donc la statistique de test suivante : F Arnaud Guyader - Rennes 2 = Y Y0 2 /q Y Y0 2 /(p p0 ) = . Y Y 2 /(n p) Y Y 2 /(n p) Rgression

3.5. Tests dhypothses Pour utiliser cette statistique de test, il faut connatre au moins sa loi sous H0 . Remarquons que cette statistique est le rapport de deux normes au carr. Nous allons donc dterminer la loi du numrateur, du dnominateur et constater leur indpendance. En notant P (resp. P0 ) la matrice de projection orthogonale sur M (resp. M0 ), nous savons que : Y Y0 = P Y P0 Y, or M0 M donc : Y Y0 = P Y P0 P Y = (In P0 )P Y = P0 P Y.

37

Nous en dduisons que (Y Y0 ) M M, donc que (Y Y0 ) (Y Y ) puisque (Y Y ) M . 0 La gure 3.2 permet de visualier ces notions dorthogonalit de faon gomtrique. Les vecteurs alatoires (Y Y0 ) et (Y Y ) sont lments despaces orthogonaux, cest--dire quils ont une covariance nulle. Puisque tout est gaussien, ils sont donc indpendants et les normes du numrateur et du dnominateur sont indpendantes galement. Le thorme de Cochran gomtrique nous renseigne par ailleurs sur les lois des numrateur et dnominateur. Pour le dnominateur : 1 Y Y 2 et pour le numrateur :2

=

1 P Y 2

2

=

1 P (X + ) 2

2

=

1 P 2

2

2 , np

1 P P (Y X) 2 2 . q 2 0 Sous H0 , le paramtre de dcentrage P0 P X 2 est nul puisque dans ce cas X M0 . Nous avons alors la loi de F sous H0 :q F Fnp .

Notons une criture quivalente souvent utilise et donc importante : F = n p SCR0 SCR q Fnp . q SCR

La relation Y Y0 2 = (SCR0 SCR) peut se voir facilement cette quation en utilisant la gure 3.2 et en appliquant Pythagore, ou encore de faon analytique : Y Y02

= = =

+ P0 P Y 2 Y Y 2 + Y Y0 2 .

Y P Y + P Y P0 Y P Y2

2

= P Y + (In P0 )P Y

2

= P Y + P0 P Y

2

Test de Student de signication dun coecient Nous voulons tester H0 : j = 0 contre H1 : j = 0, appel test bilatral de signication de j . Selon ce quon vient de voir, la statistique de test est : F = Y Y0 2 2

.

Nous rejetons H0 si lobservation de la statistique de test, note F (w), est telle que :1 F (w) > fnp (1 ),

Rgression


38

Chapitre 3. Le modle gaussien1 o fnp(1 ) est le quantile dordre (1 ) dune loi de Fisher 1 et (n p) degrs de libert.

Ce test est en fait quivalent au test de Student (n p) degrs de libert qui permet de tester H0 : j = 0 contre H1 : j = 0, avec cette fois la statistique de test : T = j , j

o j = j = (X X)1 est lcart-type estim de j . On peut en fait montrer que F = T 2 . jj Nous rejetons H0 si lobservation de la statistique de test, note T (w), est telle que : |T (w)| > tnp (1 /2), o tnp (1 /2) est le quantile dordre (1 /2) dune loi de Student (n p) degrs de libert. Cest sous cette forme que le test de signication dun coecient apparat dans tous les logiciels de statistique. Il est donc compltement quivalent au test gnral que nous avons propos, lorsquon spcialise celui-ci la nullit dun seul coecient. Test de Fisher global Si des connaissances a priori du phnomne assurent lexistence dun terme constant dans la rgression, alors pour tester linuence des autres rgresseurs (non constants) sur la rponse Y , on teste si [Y ] = 1 . En dautres termes, on teste si tous les coecients sont nuls, except la constante. Ce test est appel test de Fisher global. Dans ce cas Y0 = y et nous avons la statistique de test suivante : Y y 2 /(p 1) p1 F = Fnp . Y Y 2 /(n p) R2 np . p 1 1 R2

On peut aussi lexprimer partir du coecient de dtermination R2 vu au chapitre 2 : F =

Ce test est appel le test du R2 par certains logiciels statistiques. Lien avec le Rapport de Vraisemblance Maximale Nous allons maintenant faire le lien entre le test gnral que nous avons propos et le test du rapport de vraisemblance maximale. Nous avons vu en dbut du chapitre que la vraisemblance scrit de la faon suivante : L(Y, , 2 ) = 1 2 2n/2

exp

1 Y X 2 2

2

.

Cette vraisemblance est maximale lorsque = est lestimateur des MCO et que 2 = mv = 2 ||Y X ||2 /n. Nous avons alors : sup L(Y, , ) = = Arnaud Guyader - Rennes 22

,2

e 2 2||Y X ||2 n/2 n n 2 e 2 = L(y, , mv ), 2SCR Rgression

n

n/2n

3.5. Tests dhypothses o SCR correspond la somme des carrs rsiduels, cest--dire SCR = ||Y X ||2 . Sous lhypothse H0 , nous obtenons de faon vidente le rsultat suivant : sup L0 (Y, 0 , 2 ) = n 2SCR0n/2n 2 e 2 = L0 (Y, 0 , 0 ),

39

,2

o SCR0 correspond la somme des carrs rsiduels sous H0 , cest--dire SCR0 = ||y X0 0 ||2 , et 0 = SCR0 /n. On dnit alors le test du Rapport de Vraisemblance Maximale par la rgion 2 critique : D = Y n : = 2 L0 (Y, 0 , 0 ) < 0 L(Y, , 2 )mv n/2

.

La statistique du Rapport de Vraisemblance Maximale vaut donc ici : = SCR0 SCR .

Le test du rapport de VM rejette H0 lorsque la statistique est infrieure une valeur 0 dnie de faon avoir le niveau du test gal . Il reste connatre la distribution (au moins sous H0 ) de . Dnissons, pour positif, la fonction g suivante : g() = 2/n 1. La fonction g est dcroissante donc < 0 si et seulement si g() > g(0 ). Cette fonction g va nous permettre de nous ramener des statistiques dont la loi est connue. Nous avons en eet : g() > g(0 ) o f0 est dtermin par : SCR0 SCR np SCR0 SCR > g(0 ) > f0 , SCR p p0 SCR SCR0 SCR np > f0 p p0 SCR

H0

= ,

q q cest--dire f0 = fnp (1 ), quantile de la loi de Fisher Fnp (cf. section prcdente). Le test du rapport de VM est donc quivalent au test qui rejette H0 lorsque la statistique :

F =

np SCR0 SCR p p0 SCR

est suprieure f0 , o f0 la valeur du quantile dordre (1 ) de la loi de Fisher (p p0 , n p) degrs de libert. Ainsi le test gomtrique que nous avons propos est quivalent au test du Rapport de Vraisemblance Maximale.

3.5.3

Test de lhypothse linaire R = 0

Dans la partie prcdente, nous avons test la nullit simultane dun certain nombre de coecients. Cela nous a permis de transcrire facilement lhypothse H0 en terme de sous-espaces. Nous allons aborder maintenant le cas o lhypothse tester est de la forme R = 0. R est une matrice q p de rang q connu. Nous imposons donc q contraintes linaires 2 2 indpendantes sur les coecients j . Nous retrouvons bien videment les tests prcdents en posant : j = 0 les q derniers j sont nuls test de Fisher global Rgression R = Rqp = Rqp = 0 0 Iq 0 Ip1 Arnaud Guyader - Rennes 2 1j 0

40

Chapitre 3. Le modle gaussien Nous pouvons toujours considrer traduire lhypothse H0 (R = 0) en termes de sous-espaces. Cependant nous ne pourrons plus le visualiser facilement, comme nous lavons fait prcdemment avec MX0 o nous avions simplement enlev des colonnes la matrice X. Lide est de dcomposer lespace M en deux sous-espaces orthogonaux, lun not Mc correspondant aux valeurs possibles de la contrainte R = 0 et son orthogonal M . La dimension de Mc c vaut (p q) et celle de M vaut q. Sous H0 , lesprance de Y appartient Mc et nous pouvons c retrouver tous les rsultats prcdents. Nous avons donc : F = = Y Y0 2 Y Y 2 np q Y Y 2 n p SCR0 SCR Fq,np . q SCR

3.5.4

Gnralisation : test de Fisher pour une hypothse linaire quelconque

Dnition 3.1 Une hypothse linaire H0 est de la forme R r = 0, o R est une matrice de taille q p de rang q et r un vecteur de taille q. Nous voulons tester H0 : R = r contre H1 : R = r. Nous pouvons, ici aussi, exprimer lhypothse H0 en terme de modle et de projection. Sous H0 , y = M0 et cet espace vectoriel est inclus dans M. Thorme 3.3 Sous H0 , nous avons : 1. Q = 2. Q et 3. F =1 (R r) [R(X X)1 R ]1 (R r) 2 n 2 i=1 i sont indpendants ; b b q (Rr) [R(X X)1 R ]1 (Rr)/q Pn Fnp . 2 i=1 i /(np)

2 ; q

3.6

Estimation sous contraintes

Lespace des solutions est M. Tous les vecteurs de M peuvent scrire comme combinaisons linaires des vecteurs colonnes de X. Il arrive parfois que nous souhaitions imposer des contraintes linaires , par exemple que la premire coordonne de soit gale 1. Nous supposerons en gnral que nous imposons q contraintes linairement indpendantes , ce qui scrit sous la forme : R = r, o Rqp est une matrice de rang q < p et r un vecteur de taille q. Proprits 3.3 Lestimateur des Moindres Carrs Ordinaires sous contrainte, not c , vaut : c = + (X X)1 R [R(X X)1 R ]1 (r R). Preuve. Nous voulons minimiser S() sous la contrainte R = r. Ecrivons le lagrangien : L = S() (R r). Les conditions de Lagrange permettent dobtenir un minimum : L = 2X Y + 2X X R = 0, c L = Rc r = 0,


Rgression

3.7. Exemple Multiplions gauche la premire galit par R(X X)1 , nous obtenons 2R(X X)1 X Y + 2R(X X)1 X X c R(X X)1 R = 0 1 1 2R(X X) X Y + 2Rc R(X X) R = 0 2R(X X)1 X Y + 2r R(X X)1 R = 0. = 2 R(X X)1 R1

41

Nous obtenons alors pour :

r R(X X)1 X Y .1

Remplaons ensuite par cette expression dans la premire quation : 2X Y + 2X X c 2R R(X X)1 R do nous dduisons c : c = (X X)1 X Y + (X X)1 R R(X X)1 R = + (X X)1 R R(X X)1 R1 1

r R(X X)1 X Y = 0, (r R)

(r R).

3.7

Exemple

Nous allons traiter 50 donnes journalires prsentes en annexe. La variable expliquer est la concentration en ozone note O3 et les variables explicatives sont la temprature note T, le vent not Vx et la nbulosit note Ne12. > a _ lm(O3 T12 +Vx+Ne12,data=DONNEE) > summary(a) Call : lm(formula = O3 T12 + Vx + Ne12, data = DONNEE)) Residuals : Min -29.0441 Coefficients : (Intercept) T12 Vx Ne12 Estimate 84.5483 1.3150 0.4864 -4.8935 Std. Error 13.6065 0.4974 0.1675 1.0270 t value 6.214 2.644 2.903 -4.765 Pr(>|t|) 1.38e-07 0.01118 0.00565 1.93e-05 *** * ** *** 1Q -8.4833 Median 0.7857 3Q 7.7011 Max 28.2919

Signif. codes : 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error : 13.91 on 46 degrees of freedom Multiple R-Squared : 0.6819, Adjusted R-squared : 0.6611 F-statistic : 32.87 on 3 and 46 DF, p-value : 1.663e-11 Pour tous les coecients pris sparment, nous refusons au seuil de = 5% lhypothse H0 : j = 0. La dernire ligne de la sortie du logiciel donne la statistique du test de Fisher global : Tous les coecients sont nuls sauf la constante. Nous avions 50 observations n = 50, nous avons estim 4 paramtres et donc le ddl du Fisher est bien (3,46). Nous refusons nouveau H0 . Rgression Arnaud Guyader - Rennes 2

42


3.8

Exercices

Exercice 3.1 (QCM) 1. Nous pouvons justier les MC quand N (0, 2 I) via lapplication du maximum de vraisemblance : A. oui ; B. non ; C. aucun rapport entre les deux mthodes. 2. Y a-t-il une dirence entre les estimateurs des MC et du maximum de vraisemblance ? A. Oui ; B. Non ; C. Pas toujours, cela dpend de la loi des erreurs. 3. Y a-t-il une dirence entre les estimateurs 2 des MC et 2 du maximum de vraisemblance ? A. Oui ; B. Non ; C. Pas toujours, cela dpend de la loi des erreurs. 4. Le rectangle form par les intervalles de conance de niveau individuels de 1 et 2 correspond la rgion de conance simultane de niveau de la paire (1 , 2 ). A. Oui ; B. Non ; C. Cela dpend des donnes. 5. Nous avons n observations et p variables explicatives, nous supposons que suit une loi normale, nous voulons tester H0 : 2 = 3 = 4 = 0. Quelle va tre la loi de la statistique de test ? A. Fp3,np ; B. F3,np ; C. Une autre loi. Exercice 3.2 (Analyse de sorties logiciel) Nous voulons expliquer la concentration de lozone sur Rennes en fonction des variables T9, T12, Ne9, Ne12 et Vx. Les sorties donnes par le logiciel R sont : Coefficients : (Intercept) *** T9 *** T12 *** Ne9 ?f ? Ne12 ?i ? Vx *** Signif. codes : 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard err

Documents

[25] Régression linéaire