Proba Et Chaines de Markov Rennes

Embed Size (px)

Citation preview

Universit de Rennes 2 Licence MASS 3

Anne 2007/2008 Second Semestre

Esprance conditionnelle & Chanes de MarkovArnaud Guyader

Table des matires1 Esprance conditionnelle 1.1 Cas discret . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Cas absolument continu . . . . . . . . . . . . . . . . . . 1.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.1 Probabilits conditionnelles . . . . . . . . . . . . 1.3.2 La rgression . . . . . . . . . . . . . . . . . . . . 1.4 Interprtation gomtrique de lesprance conditionnelle 1.5 Esprance conditionnelle : le cas gnral . . . . . . . . . 1.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Vecteurs gaussiens et conditionnement 2.1 Rappels sur les vecteurs gaussiens . . . . . . . . . 2.1.1 Variables gaussiennes . . . . . . . . . . . . 2.1.2 Vecteurs gaussiens . . . . . . . . . . . . . 2.2 Conditionnement des vecteurs gaussiens . . . . . 2.2.1 Conditionnement pour un couple gaussien 2.2.2 Hyperplan de rgression . . . . . . . . . . 2.2.3 Esprance conditionnelle gaussienne . . . 2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . 3 Chanes de Markov 3.1 Dnition dune chane de Markov . 3.2 Equations de Chapman-Kolmogorov 3.3 Classication des tats . . . . . . . . 3.4 Comportement asymptotique . . . . 3.5 Exercices . . . . . . . . . . . . . . . A Annales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 7 14 14 15 20 27 28 55 55 55 59 70 70 72 75 78 99 99 101 105 109 119 133

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

i

Chapitre 1

Esprance conditionnelleIntroductionLesprance conditionnelle est un outil dusage constant en probabilits et statistiques. Nanmoins, sa dnition dans le cas gnral nest pas simple. Cest pourquoi ce chapitre prsente lide par tapes et de faon intuitive : cas discret, cas absolument continu, interprtation gomtrique dans L2 et enn extension L1 .

1.1

Cas discret(, F, ) X Y (X(), Y ())

On considre un couple alatoire discret (X, Y ), cest--dire une application mesurable (X, Y ) :

avec les ensembles X = (xi )iI et Y = (yj )jJ au plus dnombrables (i.e. nis ou dnombrables). Autrement dit, les ensembles dindices I et J sont au plus dnombrables : penser des ensembles nis, , . Pour calculer des quantits lies ce couple alatoire, il faut bien sr connatre la probabilit de tomber sur un couple (xi , yj ). Nous adoptons la notation : pij = (X = xi , Y = yj ). La suite double (pij )iI,jJ est appele loi jointe du couple (X, Y ). Il est clair que : 0 pij 1 iI,jJ pij = 1 Exemple. On tire deux chires au hasard, indpendamment et de faon quiprobable entre 1 et 3. Soit X le maximum des chires obtenus et Y la somme des chires obtenus. La loi jointe du couple (X, Y ) se reprsente sous forme dun tableau (voir gure 1.1). Dnition 1.1 (Lois marginales) Soit (X, Y ) un couple alatoire. Les variables alatoires X et Y sont dites marginales. La loi de X, dite loi marginale, est entirement dtermine par les probabilits pi. de tomber sur les points xi : (X = xi , Y = yj ) = pij pi. = (X = xi ) =jJ jJ

De mme pour la loi marginale de Y et les probabilits p.j de tomber sur les points yj : p.j = (Y = yj ) =iI

(X = xi , Y = yj ) =iI

pij

1

2Y X 11 9

Chapitre 1. Esprance conditionnelle

2

3

4

5

6

0

0

0

0

2

0

2 9

1 9

0

0

3

0

0

2 9

2 9

1 9

Fig. 1.1 Loi jointe pour le max et la somme.

Exemple. Pour lexemple prcdent, on calcule aisment les lois marginales de X et Y : il sut de sommer sur chaque ligne pour la loi de X et sur chaque colonne pour la loi de Y (voir gure 1.1).

5 9

4 9 3 9

2 9 1 9

2 1 2 3

3

4

5

6

Y

X

Fig. 1.2 Loi jointe et lois marginales pour le max et la somme.

Achtung ! La connaissance des lois marginales ne sut pas dterminer la loi du couple (X, Y ). Autrement dit, on peut trouver deux couples (X1 , Y1 ) et (X2 , Y2 ) nayant pas mme loi jointe, mais tels que les lois de X1 et X2 soient gales, ainsi que les lois de Y1 et Y2 (cf. gure 1.3). La situation agrable est celle o les variables marginales X et Y sont indpendantes. Celle-ci se vrie facilement une fois connues la loi jointe et les lois marginales. Proposition 1.1 (Lois marginales et indpendance) Les variables alatoires marginales X et Y sont indpendantes si et seulement si : (i, j) I J Arnaud Guyader - Rennes 2

(X = xi , Y = yj ) = (X = xi )(Y = yj ),Esprance conditionnelle & Chanes de Markov

1.1. Cas discret

3

Y1 X1 1

1

2

3

Y2 X2

1

2

3

0

1 4

0

1

1 16

1 8

1 16

2

1 4

0

1 4

2

1 8

1 4

1 8

3

0

1 4

0

3

1 16

1 8

1 16

Fig. 1.3 Mmes lois marginales mais loi jointe dirente.

cest--dire avec nos notations : pij = pi. p.j . Exemples : 1. Sur lexemple prcdent du max et de la somme, il est clair que X et Y ne sont pas indpendantes puisque par exemple : p12 = 1 1 1 1 = p1. p.2 = = 9 9 9 81

2. Jeu de cartes : on tire une carte au hasard dans un jeu de 32 cartes. Le rsultat de ce tirage est reprsent par le couple alatoire (X, Y ), o X est la couleur et Y la valeur. Autrement dit, X appartient lensemble {Pique, Cur, Carreau, Tre} et Y lensemble {7, 8, 9, 10, Valet, Dame, Roi, As}. Il est clair que : (i, j) I J

(X = xi , Y = yj ) =

1 1 1 = = (X = xi )(Y = yj ), 32 4 8

donc X et Y sont indpendantes. Remarque. Soit i I x. Notons quon peut avoir pij = 0, cest--dire que lvnement {X = xi , Y = yj } ne se ralise jamais. Par contre, on exclut le cas o pi. = 0 : ceci signierait que X ne prend jamais la valeur xi , auquel cas cette valeur naurait rien faire dans X . Puisque chacune des probabilits pi. est non nulle, on peut dnir la probabilit conditionnelle de Y = yj sachant X = xi par la formule : pj|i = (Y = yj |X = xi ) =

(X = xi , Y = yj ) pij = (X = xi ) pi.

Dnition 1.2 (Probabilits conditionnelles) Soit xi X . La loi conditionnelle de Y sachant X = xi est la loi discrte prenant les valeurs yj avec les probabilits pj|i = (Y = yj |X = xi ). Exemple : Lois de Poisson. Soit Y P() et Z P() deux variables alatoires de Poisson indpendantes. On sintresse leur somme X = Y + Z. X est bien sr une variable alatoire. On rappelle que Y suit une loi de Poisson de paramtre si Y est valeurs dans , avec (voir aussi gure 1.4) : n

(Y = n) = e

n . n!

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

4

Chapitre 1. Esprance conditionnelle

0.28

0.09

0.08 0.24

P(2)0.07 0.06

P(20)

0.20

0.16

0.05

0.12

0.04

0.03 0.08 0.02 0.04 0.01

0.00 0 1 2 3 4 5 6 7 8 9 10

0.00 0 4 8 12 16 20 24 28 32 36 40

Fig. 1.4 Lois de Poisson de paramtres 2 et 20.

1. Loi de X ? La variable alatoire X est valeurs dans en tant que somme de variables alatoires valeurs dans . On commence par dterminer sa loi. Soit donc n x, alors :

(X = n) = (Y + Z = n) =

n

n

k=0

{Y = k, Z = n k}

=k=0

(Y = k, Z = n k).n k Cn k nk , k=0

Or Y et Z sont indpendantes, donc :

(X = n) =

n k=0

(Y = k)(Z = nk) =

n

ek=0

k nk e(+) e = k! (n k)! n! ( + )n . n!

et on reconnat la formule du binme :

(X = n) = e(+)

Cest--dire que X suit une loi de Poisson de paramtre ( + ). Ce rsultat se gnralise dailleurs sans problme : si les Xi P(i ) sont globalement indpendantes, alors leur somme S suit encore une loi de Poisson : S P(1 + + n ). Dun point de vue thorie de la mesure, on vient de montrer que le produit de convolution de deux lois de Poisson est une loi de Poisson. 2. Loi de Y sachant X ? Soit n , dterminons la loi de Y sachant X = n. Puisque X = Y + Z, il est clair que, sachant X = n, Y est valeurs dans {0, 1, . . . , n}. Soit donc k {0, 1, . . . , n} :

(Y = k|X = n) =

(Y = k, X = n) (Y = k, Z = n k) (Y = k)(Z = n k) = = . (X = n) (X = n) (X = n)

Et il sut alors dexprimer tout ceci grce aux lois de Poisson, ce qui donne aprs simplications : k nk k (Y = k|X = n) = Cn . + + Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov

1.1. Cas discret Ainsi, sachant X = n, Y suit une loi binmiale B n, + .

5

Revenons au cas gnral et supposons que Y soit intgrable. Si X est ge xi , il est naturel de considrer la valeur moyenne de la variable alatoire Y lorsque X = xi : cest ce quon appelle lesprance conditionnelle de Y sachant X = xi . Elle scrit : E[Y |X = xi ] = pj|i yjjJ

Or on sait que X prend la valeur X = xi avec la probabilit pi. . Dnition 1.3 (Esprance conditionnelle) Supposons Y intgrable. La variable alatoire qui prend les valeurs E[Y |X = xi ] avec les probabilits pi. est appele esprance conditionnelle de Y sachant X et note E[Y |X]. Nota Bene. Il faut noter quen gnral lesprance conditionnelle E[Y |X] est une variable alatoire et non un nombre. On peut linterprter comme la valeur moyenne prise par Y lorsque lon connat X. Elle pourra donc scrire comme une fonction de X. Exemple. On reprend lexemple prcdent. Lesprance de Y sachant X = n est lesprance dune loi binmiale B(n, + ). Donc pour tout n 0 : E[Y |X = n] = n . +

Puisque ceci est vrai pour tout entier naturel n, lesprance conditionnelle de Y sachant X est : E[Y |X] = X , +

qui est bien une fonction de X, donc une variable alatoire, et non un nombre. Thorme 1.1 (Calcul desprance par conditionnement) Si Y est intgrable, alors la variable alatoire E[Y |X] aussi et on a : E[E[Y |X]] = E[Y ]. Exemple. Sur lexemple prcdent, les paramtres et tant des constantes, on peut crire : E[E[Y |X]] = E[X], + or lesprance dune loi de Poisson de paramtre ( + ) est tout simplement ( + ), donc : E[E[Y |X]] Preuve. Cest lne qui trotte : E[E[Y |X]] = or pj|i =pij pi. ,

( + ) = = E[Y ]. +

iI

pi. E[Y |X = xi ] =

iI

donc : E[E[Y |X]] =

pi.

jJ

pj|iyj , yj , Arnaud Guyader - Rennes 2

iI

jJ

pij yj =

pijjJ iI

Esprance conditionnelle & Chanes de Markov

6 or, par dnition, p.j = pij , donc : E[E[Y |X]] =

Chapitre 1. Esprance conditionnelle

iI

p.j yj = E[Y ].jJ

Remarque. Ce rsultat permet souvent de calculer lesprance de Y en deux tapes : on exprime dabord E[Y |X] comme une fonction (X) de la variable alatoire X. Puis, si cette fonction et la loi de X sont assez simples, on calcule E[(X)]. Voir par exemple les exercices Un d et une pice et Somme alatoire de variables alatoires en n de chapitre. On vient de dire que, dans le cas gnral, lesprance conditionnelle E[Y |X] est une variable alatoire et pas un nombre. Il existe cependant un cas particulier : lorsque X et Y sont indpendantes. Proprits 1.1 (Esprance conditionnelle et indpendance) Si Y est intgrable, si X et Y sont indpendantes, alors la variable alatoire E[Y |X] est constante, gale E[Y ]. Preuve. Si X et Y sont indpendantes, alors pour tout couple (i, j) I J : pij = pi. p.j . On en dduit que : donc pour tout xi X : (i, j) I J E[Y |X = xi ] = pj|iyj =jJ jJ

pj|i = p.j ,

p.j yj = E[Y ],

or par dnition E[Y |X] est la variable alatoire qui prend les valeurs E[Y |X = xi ] avec les probabilits pi. . On en dduit que E[Y |X] est la variable alatoire constante gale E[Y ]. Dans de nombreuses situations, on dsire calculer la valeur moyenne prise par une fonction du couple (X, Y ), cest--dire : E[h(X, Y )] =

h(X, Y ) d,

o h est une fonction de 2 dans . Par exemple si on veut calculer la moyenne de la somme de deux variables, ou la moyenne de leur produit. Rappel : Thorme de transfert Sous rserve dintgrabilit, le thorme de transfert assure que lesprance prcdente scrit comme une somme double : E[h(X, Y )] = h(xi , yj )pijiI,jJ

Le cas simple est celui o, dune, h se dcompose en produit : h(x, y) = f (x)g(y), et, de deux, X et Y sont indpendantes. Dans ce cas, on a immdiatement : E[h(X, Y )] = f (xi )pi.iI

jJ

g(yj )p.j = E[f (X)]E[g(Y )],

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

1.2. Cas absolument continu cest--dire quil sut de calculer deux esprances discrtes classiques. Dans le cas gnral, h ne se dcompose pas aussi simplement et les variables X et Y ne sont pas indpendantes. Nanmoins, sous les hypothses usuelles dintgrabilit, on peut toujours crire : E[h(X, Y )] =iI

7

Ceci est une autre faon de dire que :

jJ

h(xi , yj )pj|i pi. =

E[h(xi , Y )|X = xi ](X = xi )

iI

E[h(X, Y )] = E[E[h(X, Y )|X]] o E[h(X, Y )|X] est la variable alatoire qui prend les valeurs E[h(xi , Y )|X = xi ] avec les probabilits pi. . On a ainsi ramen le calcul dune somme double deux calculs de sommes simples.

1.2

Cas absolument continu

Pour une variable alatoire relle X, les deux situations classiques sont les suivantes : X est discrte ou X est absolument continue, cest--dire quelle admet une densit. Dans le paragraphe prcdent, on a vu le pendant dune loi discrte pour un couple alatoire. Etudions maintenant lanalogue dune loi absolument continue pour un couple alatoire (X, Y ) valeurs dans 2 (ou un sous-ensemble de 2 ). Par dnition, la loi jointe PX,Y du couple est la mesure de probabilit sur (2 , B2 ) dnie par : B B2 , PX,Y (B) = ((X, Y ) B),

que lon peut voir comme la probabilit que le point alatoire M de coordonnes (X, Y ) tombe dans lensemble borlien B. Dnition 1.4 (Loi jointe absolument continue) On dit que la loi PX,Y est absolument continue1 sil existe une fonction mesurable f : (2 , B2 ) (, B) telle que : B B2 , PX,Y (B) =B

f (x, y) dx dy.

La fonction f est appele densit de probabilit du couple (X, Y ). On la note parfois fX,Y . Pour quune fonction f soit une densit de probabilit, il faut et il sut quelle soit positive et intgre 1 : f (x, y) 0 2 f (x, y) dx dy = 1 Remarque. En pratique, dans tout ce paragraphe, on peut faire le parallle avec ce qui a t vu dans le cas discret : il sut de remplacer xi par x, yj par y, pij par f (x, y) et les sommes par des intgrales. Exemple. On considre un couple (X, Y ) de densit : f (x, y) = 2e(x+y) {0xy}1

sous-entendu : par rapport la mesure de Lebesgue sur

.2

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

8 z2.0 1.8 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0

Chapitre 1. Esprance conditionnelle

y0 1 2 3

x0 1 2 3 4 4 5

Fig. 1.5 Reprsentation de la densit jointe f (x, y) = 2e(x+y) {0xy} . On vrie que ceci dnit bien une densit de probabilit sur 2 . En eet, f est positive et par le thorme de Fubini-Tonelli, on a pour le calcul de lintgrale double :+ y 0

f (x, y) dx dy =2

2e(x+y) dx

+

+ x

dy =0

2e(x+y) dy

dx.

0

Prenons par exemple la premire expression :+

f (x, y) dx dy =0

2

2ey ex

y 0

+

dy =0

(2ey 2e2y ) dy,

ce qui donne nalement :

2

f (x, y) dx dy = 2ey + e2y

+ 0

= 1.

La reprsentation de la densit f est donne gure 1.5. Comme dans le cas discret, on peut dnir les lois des variables alatoires marginales X et Y . Proposition 1.2 (Lois marginales) Si le couple (X, Y ) est absolument continu, les variables marginales X et Y sont absolument continues et la densit jointe f (x, y) dtermine les densits marginales f (x) et f (y) : f (x) = fX (x) =

f (x, y) dy

&

f (y) = fY (y) =

f (x, y) dx

Convention. Suivant le contexte, la densit marginale de X sera note f (x) ou fX , mais rarement fX (x), qui est lourdingue. Idem pour Y .

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

1.2. Cas absolument continu Exemple. Pour lexemple prcdent, on obtient (voir gure 1.6) : f (x) = 2e2x [0,+[(x) f (y) = 2ey (1 ey )[0,+[ (y) Une fois connues les lois marginales, on peut eectuer les calculs usuels sur les variables alatoires absolument continues. Par exemple, sous rserve dintgrabilit, lesprance de X est alors simplement : E[X] =

9

xf (x) dx.

2.0 1.8 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0.0 0.0

0.5

0.4

0.3

fX (x)

0.2

fY (y)

0.1

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

x

0.0 0 1 2 3 4 5 6

y

Fig. 1.6 Reprsentation des densits marginales f (x) et f (y). Chausse-trappe2 . Pour lexemple prcdent, puisque X suit une loi exponentielle E(2), on a 1 E[X] = 2 . On rappelle au passage que si X E(), cest--dire si X a pour densit : f (x) = ex [0,+[(x),1 alors E[X] = . Les Anglo-Saxons adoptent la convention inverse : pour eux, la variable alatoire T suit une loi exponentielle de paramtre si T a pour densit :

f (t) =

1 t e [0,+[(t),

auquel cas on a bien sr tout simplement E[T ] = . Lorsquon veut simuler des lois exponentielles laide dun logiciel, il faut donc faire attention la convention utilise par celui-ci. Dans le cas gnral, par dnition, les variables alatoires X et Y sont indpendantes si pour tout couple de borliens B et B de , on a :

(X B, Y B ) = (X B)(Y B ),ou encore si pour toutes fonctions bornes (ou positives) g et h de E[g(X)h(Y )] = E[g(X)]E[h(Y )].

dans :

Si la loi jointe est absolument continue, lindpendance se vrie de faon simple.2

Les cuistres crivent plutt chausse-trape, les deux orthographes tant acceptes.

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

10

Chapitre 1. Esprance conditionnelle Proposition 1.3 (Indpendance) Avec les notations prcdentes, les variables alatoires X et Y sont indpendantes si et seulement si pour tout couple (x, y) 2 : f (x, y) = f (x)f (y). Exemple. Pour lexemple prcdent, X et Y ne sont pas indpendantes puisque : f (0, 0) = 2 = fX (0)fY (0) = 0. Remarque. Le raisonnement sur les supports permet parfois de conclure rapidement la nonindpendance. Le support de la loi de X est ladhrence de lendroit o X a des chances de tomber : Supp(X) = Adh{x : f (x) = 0}. Cest gnralement un intervalle ferm IX . On dnit de mme le support IY de la loi de Y . Mais alors, si X et Y sont indpendantes, le support du couple (X, Y ) est IX IY , produit cartsien de IX par IY . Cest--dire, en gnral, un pav (ferm) de 2 . Donc si le support du couple (X, Y ) nest pas un pav, X et Y ne sont pas indpendantes.y y

Supp(X, Y ) Supp(X)Supp(Y )

x

x

Fig. 1.7 Support du couple (X, Y ) ( gauche) et produit cartsien des supports de X et de Y ( droite). Exemple. Pour lexemple prcdent, le support de X est gal au support de Y , savoir + = [0, +[. Donc si X et Y taient indpendantes, le support du couple (X, Y ) serait le pav + + . Or le support de (X, Y ) est : Supp(X, Y ) = {(x, y) 2 : 0 x y} = + + , donc X et Y ne sont pas indpendantes (voir gure 1.7). On veut maintenant dnir lanalogue des probabilits conditionnelles vues dans le cas discret. Dnition 1.5 (Lois conditionnelles) La densit conditionnelle de Y sachant X = x est : f (y|x) = fY |X (y|x) = Arnaud Guyader - Rennes 2f (x,y) f (x)

0

si f (x) > 0 si f (x) = 0

Esprance conditionnelle & Chanes de Markov

1.2. Cas absolument continu Interprtation graphique. Pour la reprsentation de la densit conditionnelle f (y|x0 ), il sut de faire une coupe de la surface dnie par la densit jointe f (x, y) par le plan dquation x = x0 . On obtient ainsi la fonction y f (x0 , y) : au facteur de normalisation f (x0 ) prs, ceci donne une ide de la densit conditionnelle f (y|x0 ).

11

1

f (y|x)

y x

Fig. 1.8 Densit conditionnelle f (y|x) = e(yx) {yx} . Exemple. Pour lexemple prcdent, pour tout x 0, on a : f (y|x) = e(yx) {yx} , cest--dire que, conditionnellement X = x, Y suit une loi exponentielle de paramtre 1 translate sur lintervalle [x, +[. Ceci est illustr gure 1.8. Ainsi dnie, pour tout x 0, la fonction f (.|x) est une densit de probabilit, cest--dire quelle est positive et somme 1. Les relations dj vues dans le cas discret entre marginales et conditionnelles sont encore valables : il sut de remplacer les sommes discrtes par des intgrales. Ainsi on a par exemple : f (y) =

f (y|x)f (x) dx.

De plus, si les variables alatoires X et Y sont indpendantes, on a bien sr fX|Y = fX et fY |X = fY . On veut maintenant dnir lesprance conditionnelle. Pour x x, lesprance conditionnelle de Y sachant X = x est : E[Y |X = x] = yf (y|x) dy.

La fonction : x (x) = E[Y |X = x] est une fonction relle de la variable relle. (X) est donc une variable alatoire : cest lesprance conditionnelle de Y sachant X. Dnition 1.6 (Esprance conditionnelle) La variable alatoire qui prend les valeurs E[Y |X = x] avec la densit f (x) est appele esprance conditionnelle de Y sachant X et on la note E[Y |X]. Exemple. Pour lexemple prcdent, on obtient pour tout x 0 : E[Y |X = x] = (x + 1){x0} , Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

12

Chapitre 1. Esprance conditionnelle

2.0 1.8 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0.0 0.0 0.4 0.8 1.2 1.6 2.0 2.4 2.8 3.2 3.6 4.0

Fig. 1.9 Densit de la variable alatoire E[Y |X]. donc E[Y |X] = X + 1. Or on a vu que X E(2), donc la variable alatoire E[Y |X] suit une loi exponentielle de paramtre 2 translate sur lintervalle [1, +[ (voir gure 1.9). Proprits 1.2 (Calcul desprance par conditionnement) Si Y est intgrable, alors la variable alatoire E[Y |X] aussi et on a : E[E[Y |X]] = E[Y ]. Preuve. La preuve est la mme que dans le cas discret. La variable alatoire E[Y |X] prend les valeurs E[Y |X = x] avec densit f (x), donc son esprance vaut : E[E[Y |X]] =

E[Y |X = x]f (x) dx =

yf (y|x) dy f (x) dx,

donc daprs le thorme de Fubini : E[E[Y |X]] = et puisque f (y) =

y

f (y|x)f (x) dx

dy,

f (y|x)f (x) dx, on retrouve bien :E[E[Y |X]] =

yf (y) dy = E[Y ].

Exemple. Pour lexemple prcdent, on a obtenu E[Y |X] = X + 1, avec X E(2), do : 3 E[Y ] = E[X + 1] = E[X] + 1 = , 2 rsultat que lon retrouve bien en considrant la loi marginale de Y : E[Y ] = Arnaud Guyader - Rennes 2

yf (y) dy =

+

y(2ey 2e2y ) dy = 2

3 1 = . 2 2

Esprance conditionnelle & Chanes de Markov

1.2. Cas absolument continu

13

Dans le cas gnral, on retrouve alors pour les couples absolument continus les proprits vues pour les couples discrets. On commence par dnir lesprance conditionnelle dun couple sachant lune des variables. Soit h : 2 une fonction, lesprance mathmatique de la variable alatoire h(X, Y ) est dnie si :

2auquel cas elle vaut :

|h(x, y)|f (x, y) dx dy < +,

E[h(X, Y )] = que lon peut encore crire : E[h(X, Y )] =

2

h(x, y)f (x, y) dx dy,

h(x, y)f (y|x) dy f (x) dx.

La dnition suivante est alors naturelle. Dnition 1.7 (Esprance conditionnelle dun couple) Lesprance conditionnelle de h(X, Y ) sachant X = x est : E[h(X, Y )|X = x] =

h(x, y)f (y|x) dy = E[h(x, Y )|X = x].

Lesprance conditionnelle de h(X, Y ) sachant X, note E[h(X, Y )|X], est la variable alatoire qui prend les valeurs E[h(x, Y )|X = x] avec la densit de probabilit f (x). On peut alors numrer direntes proprits de lesprance conditionnelle. Dans ce qui suit, on ne considre que des bonnes fonctions, cest--dire telles quon nait pas de problme dintgrabilit. Proprits 1.3 (Proprits de lesprance conditionnelle) Sous rserve dintgrabilit des variables alatoires, on a les proprits suivantes : Calcul desprance par conditionnement : E[E[h(X, Y )|X]] =

E[h(x, Y )|X = x]f (x) dx = E[h(X, Y )].

Indpendance : si X et Y sont indpendantes, alors E[g(Y )|X] = E[g(Y )]. En particulier, E[Y |X] = E[Y ]. On a E[g(X)|X] = g(X). En particulier E[X|X] = X. Linarit : E[g(X) + h(Y )|X] = E[g(X)|X] + E[h(Y )|X] = g(X) + E[h(Y )|X]. Linarit(bis) : E[g(X)h(Y )|X] = g(X)E[h(Y )|X]. Preuve. Toutes les dmonstrations se font sans dicult en revenant la dnition de lesprance conditionnelle. Pour la premire relation, il sut par exemple de dire que : Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

14

Chapitre 1. Esprance conditionnelle La variable alatoire E[h(X, Y )|X] prend les valeurs E[h(x, Y )|X = x] avec densit de probabilit f (x). Donc son esprance vaut : E[E[h(X, Y )|X]] = Par ailleurs, on a pour tout rel x : E[h(x, Y )|X = x] = do il vient, puisque f (x, y) = f (y|x)f (x) : E[E[h(X, Y )|X]] = et on reconnat E[h(X, Y )]. Und so weiter...

E[h(x, Y )|X = x]f (x) dx.

h(x, y)f (y|x) dy,

h(x, y)f (y|x) dy f (x) dx =

2

h(x, y)f (x, y) dx dy,

Remarque. Tout comme lesprance classique, lesprance conditionnelle est linaire. La dernire proprit est assez spectaculaire : du point de vue de lesprance conditionnelle, toute fonction de la variable alatoire X se comporte comme une constante, on peut donc la sortir du crochet.

1.3

Applications

Toute cette section est valable aussi bien dans le cas discret que dans le cas absolument continu. Ce nest que par souci de simplication quon se place parfois dans lune des deux situations.

1.3.1

Probabilits conditionnelles

Soit A un vnement qui sexprime en fonction de X et Y , par exemple : A = {X < Y } = { : X() < Y ()}. On peut crire sa probabilit comme lesprance dune indicatrice :

(A) = E[A ] = E[{X n + m | X > n) = (X > m).

2. Rappeler la densit dune loi exponentielle de paramtre > 0, ainsi que sa fonction de rpartition. Montrer que X vrie : t 0, s 0

(X > t + s | X > t) = (X > s),

cest--dire la proprit dabsence de mmoire. 3. Application : la dure de vie dune radio suit une loi exponentielle de moyenne 5 ans. Si jachte une radio qui a 5 ans, quelle est la probabilit quelle fonctionne encore deux ans plus tard ? Exercice 1.6 (Loi de succession de Laplace) On dispose de (N + 1) urnes, numrotes de 0 N . La ke urne contient k boules rouges et (N k) boules blanches. On choisit une urne au hasard. Quel que soit son numro, on en tire n fois de suite une boule, avec remise aprs chaque tirage. 1. Exprimer par un rapport de deux sommes la probabilit que le tirage suivant donne encore une boule rouge sachant que, au cours des n premiers tirages, seules des boules rouges ont t tires ? 2. Calculer la limite de cette probabilit lorsque N tend vers linni (penser aux sommes de Riemann). Exercice 1.7 (Transmission bruite) Un message doit tre transmis dun point successivement travers N canaux. Ce message peut prendre deux valeurs, 0 ou 1. Durant le passage par un canal, le message a la probabilit p ]0, 1[ dtre bruit, i.e. dtre transform en son contraire, et (1 p) dtre transmis dlement. Les canaux se comportent indpendamment les uns des autres. Pour tout n {1, . . . , N }, notons pn la probabilit quen sortie de n-me canal, le message soit le mme que celui transmis initialement. 1. Etablir une relation de rcurrence entre pn+1 et pn . 2. On considre une suite (un )n1 vriant la relation de rcurrence3 : un+1 = (1 2p)un + p. 3. En dduire pn pour tout n {1, . . . , N }.1 Vrier que la suite (vn )n1 , dnie par vn = un 2 , est gomtrique.

4. Que vaut limN + pN ? Quest-ce que ce rsultat a dtonnant premire vue ? Exercice 1.8 (La roulette de la lose) Deux joueurs A et B jouent une succession de parties de pile ou face. A chaque coup, A a la probabilit p ]0, 1[ de gagner, auquel cas B lui donne 1e, sinon le contraire. La partie sarrte lorsque lun des deux est ruin. On cherche la probabilit que A nisse ruin. Pour tout n {0, . . . , 100}, on note donc pn la probabilit que A nisse ruin sil commence avec ne et B avec (100 n)e.3

Une telle suite est dite arithmtico-gomtrique, pour des raisons videntes.

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

30

Chapitre 1. Esprance conditionnelle 1. Etablir une relation de rcurrence entre pn+1 , pn et pn1 . 2. On admet que la solution de cette quation est de la forme : pn = + Dterminer et . 3. En dduire la probabilit que A nisse ruin sil commence avec 50e. 4. De passage Dinard, vous rentrez au casino et jouez la roulette : il y a 18 numros rouges, 18 numros noirs et 1 numro vert, le zro. Vous jouez rouge pour 1e chaque fois. Vous commencez avec 50e et vous arrtez si vous avez 100e ou si vous tes ruin. Pourquoi valaitil mieux aller baguenauder sur les sentiers ctiers ce jour-l ? Exercice 1.9 (Un d et une pice) On lance un d quilibr, puis une pice de monnaie non biaise un nombre de fois gal au rsultat du d. Soit X le rsultat du d et Y le nombre de Pile amens par la pice de monnaie. 1. Dterminer la loi jointe du couple (X, Y ). 2. Soit n {1, . . . , 6}. Quelle est la loi de Y sachant X = n ? 3. En dduire E[Y |X = n], puis E[Y |X]. 4. Calculer E[Y ]. 1p pn

.

Exercice 1.10 (Minimum et maximum) On tire deux variables U et V de faon indpendante et uniformment dans lensemble {1, 2, 3, 4, 5}. On en dduit les variables alatoires X = min(U, V ) et Y = max(U, V ). 1. Dterminer la loi jointe du couple (U, Y ). 3. En dduire E[U |Y ]. 2. Dterminer E[U |Y = n], pour n {1, 2, 3, 4, 5}.

5. Dterminer de mme E[U |X] et E[X|U ]. Corrig 1. La loi jointe du couple (U, Y ) est donne gure 1.15. 2. Soit n {1, 2, 3, 4, 5} x. Alors si Y = n, puisque Y est le maximum de U et V , il est clair que U peut prendre les valeurs de 1 n. On a donc : E[U |Y = n] = (U = 1|Y = n) + 2(U = 2|Y = n) + + n(U = n|Y = n). Il reste prciser les probabilits :

4. Dterminer E[Y |U ].

(U = k|Y = n) =

(U = k, Y = n) . (Y = n)

Puisquon connat la loi jointe, il reste prciser la loi marginale de Y , cest--dire sommer sur les colonnes dans le tableau de la question prcdente. Ce qui donne :

(Y = n) = (U = 1, Y = n) + + (U = n, Y = n) =Arnaud Guyader - Rennes 2

1 2n 1 1 (n 1) + n = . 25 25 25

Esprance conditionnelle & Chanes de Markov

1.6. Exercices

31

Y U 1

1

2

3

4

5

1/25

1/25

1/25

1/25

1/25

2

0

2/25

1/25

1/25

1/25

3

0

0

3/25

1/25

1/25

4

0

0

0

4/25

1/25

5

0

0

0

0

5/25

Fig. 1.15 Loi jointe pour le couple (U, Y ).

Ainsi, on obtient pour la loi conditionnelle de U sachant Y :

(U = k|Y = n) =Au total, on obtient :

1/(2n 1) si 1 k (n 1) n/(2n 1) si k = n 1 n +n . 2n 1 2n 1

E[U |Y = n] = (1 + + (n 1))

La premire somme, entre parenthses, est arithmtique de raison 1, donc : 1 + + (n 1) = do nalement : E[U |Y = n] = n(n 1) , 2

Remarque : quand vous arrivez ici, aprs quelques calculs, pensez vrier que la formule fonctionne, par exemple pour n = 1 et n = 2. 3. On en dduit que : E[U |Y ] = Y (3Y 1) . 2(2Y 1)

n(n 1) n2 n(3n 1) + = . 2(2n 1) 2n 1 2(2n 1)

4. Pour dterminer E[Y |U ], on commence par calculer E[Y |U = n] pour tout n {1, 2, 3, 4, 5}. Lorsque U vaut n, il est clair que Y peut prendre les valeurs n, . . . , 5. Comme ci-dessus, il faut donc commencer par prciser la loi marginale de U . Or U est obtenue en tirant un nombre au hasard entre 1 et 5, donc U suit une loi uniforme sur lensemble {1, 2, 3, 4, 5} : 1 (U = n) = 5 . On en dduit que :

(Y = k|U = n) =

1/5 si (n + 1) k 5 n/5 si k = n

On en dduit lesprance conditionnelle de Y sachant U = n : E[Y |U = n] = n 1 n + ((n + 1) + + 5) . 5 5 Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

32

Chapitre 1. Esprance conditionnelle On reconnat nouveau une somme arithmtique dans la parenthse : (n + 1) + + 5 = et nalement on obtient : (n + 6)(5 (n + 1) + 1) (n + 6)(5 n) = , 2 2

n2 n + 30 . 10 Et lesprance conditionnelle de Y sachant U est donc : E[Y |U = n] = E[Y |U ] = U 2 U + 30 . 10

X U 1

1

2

3

4

5

5/25

0

0

0

0

2

1/25

4/25

0

0

0

3

1/25

1/25

3/25

0

0

4

1/25

1/25

1/25

2/25

0

5

1/25

1/25

1/25

1/25

1/25

Fig. 1.16 Loi jointe pour le couple (U, X). 5. Pour dterminer E[U |X], on reprend pas pas le raisonnement vu ci-dessus. La loi jointe du couple alatoire (U, X) est reprsente gure 1.16. Pour tout n entre 1 et 5, on a cette fois : E[U |X = n] = n(U = n|X = n) + + 5(U = 5|X = n). Pour la loi marginale de X, on a : (X = n) = de U sachant X = n :112n 25 .

Ce qui donne pour la loi conditionnelle

(U = k|X = n) =On a donc : E[U |X = n] = n Donc nalement :

1/(11 2n) si (n + 1) k 5 (6 n)/(11 2n) si k = n

6n 1 30 + 11n 3n2 + ((n + 1) = + 5) = . 11 2n 11 2n 22 4n E[U |X] = 30 + 11X 3X 2 . 22 4X Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

1.6. Exercices Pour calculer lesprance conditionnelle de X sachant U , on a deux possibilits : ou bien on reprend la mthode plan-plan ci-dessus, ou bien on pense une ruse de sioux. Il sut en eet de remarquer, puisque lesprance conditionnelle est linaire, que : E[X + Y |U ] = E[X|U ] + E[Y |U ], or X + Y = U + V , puisque si X est gal U , Y est gal V et vice-versa. Donc : E[X + Y |U ] = E[U + V |U ] = E[U |U ] + E[V |U ], et on utilise les proprits classiques de lesprance conditionnelle : E[U |U ] = U dune part, et E[V |U ] = E[V ] dautre part, puisque U et V sont indpendantes. Si on fait les comptes, on a donc obtenu : E[X|U ] = U + E[V ] E[Y |U ]. Or E[V ] = 3 puisque V suit une loi uniforme et on a calcul E[Y |U ] ci-dessus. Finalement : E[X|U ] = et tout est dit. 11U U 2 , 10

33

Fig. 1.17 Tirage uniforme dans un triangle.

Exercice 1.11 (Des points dans 2 ) On tire un point de faon uniforme parmi ceux de la gure 1.17. Ceci donne un couple alatoire 1 (X, Y ) dont la loi jointe est : pij = (X = i, Y = j) = 15 , 1 j i 5. 1. Donner les lois marginales de X et de Y . 2. Soit j {1, . . . , 5} x : donner la loi conditionnelle de X sachant Y = j, cest--dire (X = i|Y = j). 3. Calculer E[X|Y = j], en dduire E[X|Y ], puis E[X] en fonction de E[Y ]. 4. Dterminer de mme la loi conditionnelle de Y sachant X = i. 5. Calculer E[Y |X = i], en dduire E[Y |X], puis E[Y ] en fonction de E[X]. 6. Dduire des questions prcdentes E[X] et E[Y ]. 7. Gnralisation : soit N x, reprendre les questions prcdentes en remplaant 5 par N (on ne demande pas le dtail des calculs, uniquement les rsultats). Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

34 Corrig Le corrig est donn en annexe (sujet de juin 2006).

Chapitre 1. Esprance conditionnelle

Exercice 1.12 (Somme alatoire de variables alatoires) Soit (Xn )n1 une suite de variables alatoires admettant la mme esprance m = E[X1 ]. Soit N une variable alatoire valeurs dans indpendante de la suite (Xn )n1 . On pose Sn = n Xk . k=1 On sintresse dans cet exercice la variable alatoire SN . 1. Si N G(1/2) et les variables Xn sont quiprobables sur {1, . . . , 6}, donner une faon de simuler SN laide dun d et dune pice. 2. Dterminer E[SN |N = n]. En dduire E[SN |N ]. 3. Que vaut E[SN ] ? 4. Application : la vre acheteuse. Le nombre de clients se rendant dans un magasin donn dans lespace dune journe est une variable alatoire de moyenne 50. La somme dpense par chacun des clients est aussi une variable alatoire de moyenne 20e. Avec des hypothses raisonnables, quel est le chire daaires quotidien moyen du magasin ? Corrig 1. Tout dabord, il sut de lancer une pice quilibre et de compter le nombre de lancers ncessaires pour voir apparatre Pile. On appelle N ce nombre, on sait quil suit une loi gomtrique de paramtre 1/2. Il sut alors de lancer N fois un d quilibr 6 faces et de faire la somme des rsultats obtenus pour obtenir SN . 2. Si N = n, alors : SN = Sn = X1 + + Xn est la somme de n variables de mme moyenne m, donc : E[SN |N = n] = nm. On en dduit que : E[SN |N ] = mN. 3. La technique de calcul desprance par conditionnement permet alors dcrire que : E[SN ] = E[E[SN |N ]] = mE[N ]. 4. Application : la vre acheteuse. Le nombre de clients se rendant dans un magasin donn dans lespace dune journe est une variable alatoire de moyenne 50. La somme dpense par chacun des clients est aussi une variable alatoire de moyenne 20e. En supposant que ce que dpense chaque client (variable alatoire Xi ) est indpendant du nombre N de clients passer dans le magasin dans la journe, on en dduit que le chire daaires quotidien moyen du magasin est : E[SN ] = 50 20 = 1000e.

Exercice 1.13 (North by Northwest) Soit X et Y deux variables alatoires discrtes valeurs dans . On suppose que X P(), loi de Poisson de paramtre > 0. On suppose que, pour tout entier n > 0, la loi de Y sachant X = n est la loi binmiale B(n, p) ; et que Y = 0 si X = 0. 1. Donner la loi jointe du couple alatoire (X, Y ). Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov

1.6. Exercices 2. Montrer que Y suit une loi de Poisson de paramtre p. 3. Montrer que : n k

35

(X = n|Y = k) = e(1p)

((1 p))nk , (n k)!

cest--dire que, sachant Y = k, X suit une loi de Poisson translate. En dduire E[X|Y = k] et de faon gnrale que : : E[X|Y ] = Y + (1 p). 4. Application : un embranchement routier, le nombre X de vhicules arrivant en une heure suit une loi de Poisson P(100) (hypothse courante dans ce genre de situation). Les vhicules ont alors le choix entre deux directions A ou B : ils choisissent A avec la mme probabilit 1/3, et ce de faon indpendante. Sachant quen une heure, on sait simplement que 100 voitures ont pris la direction A, quel est le nombre moyen de voitures qui sont passes par lembranchement ? Exercice 1.14 (Esprance dune variable gomtrique) N Soit une urne contenant N boules noires et M boules blanches (N, M 1). On pose p = N +M . On eectue une suite de tirages avec remise et on dsigne par T le nombre de tirages ncessaires pour amener pour la premire fois une boule noire. 1. Quelle est la loi de T ? Que vaut E[T ] ? 2. On calcule ici lesprance de T par une autre mthode. On introduit une variable X qui prend la valeur 0 ou 1 selon que la premire boule tire est blanche ou noire. (b) Dterminer E[T |X = 0] en fonction de E[T ]. (a) Dterminer E[T |X = 1].

(c) Via un calcul desprance par conditionnement, en dduire E[T ].

Exercice 1.15 (Germinal revival) Un mineur est prisonnier dans un puits do partent trois tunnels. Le premier tunnel le mnerait la sortie au bout de 3 heures de marche. Le second le ramnerait son point de dpart au bout de 5 heures de marche, de mme que le troisime au bout de 7 heures. On suppose que les tunnels sont indiscernables et qu chaque fois quil est au point de dpart, le mineur emprunte lun des trois de faon quiprobable. On note T le nombre dheures ncessaires pour sortir du puits. Soit X {1, 2, 3} le numro du tunnel que le prisonnier choisit sa premire tentative. Reprendre le raisonnement de lexercice 1.14 (partie 2.) pour calculer le temps moyen quil faut au mineur pour sortir. Corrig On reprend le raisonnement de lexercice Esprance dune variable gomtrique et on obtient : E[T |X = 1] = 3, E[T |X = 2] = E[T ] + 5 et E[T |X = 3] = E[T ] + 7. Par ailleurs, le calcul desprance par conditionnement donne : E[T ] = E[T |X = 1](X = 1) + E[T |X = 2](X = 2) + E[T |X = 3](X = 3). Mais puisque le prisonnier choisit au hasard parmi les trois tunnels, on a :

(X = 1) = (X = 2) = (X = 3) = .Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

1 3

36 Ainsi il vient : E[T ] = do lon dduit : E[T ] = 15.

Chapitre 1. Esprance conditionnelle

1 (3 + E[T ] + 5 + E[T ] + 7), 3

Il faut en moyenne 15 heures au mineur pour sortir. Autant dire que ce nest pas gagn... Exercice 1.16 (Variable Y dnie partir de X) On considre une variable alatoire X valeurs dans et telle que : i 1. Que vaut E[X] ?

(X = i) =

2 . 3i

Soit Y une variable alatoire telle que, sachant X = i, la loi de Y est lquiprobabilit sur {i, i + 1}. 2. Pour tout i , dterminer E[Y |X = i]. En dduire E[Y |X], puis E[Y ]. 3. Calculer la loi jointe du couple (X, Y ). 4. Dterminer la loi de Y . 6. Calculer Cov(X, Y ). Corrig 1. On a vu que X suit une loi gomtrique de paramtre 2/3 donc E[X] = 3/2. 2. Pour tout i , on a vu que : E[Y |X = i] = On en dduit que E[Y |X] = et par suite 1 2i + 1 (i + (i + 1)) = . 2 2 2X + 1 , 2 5. Pour tout j , dterminer E[X|Y = j]. En dduire E[X|Y ].

1 E[Y ] = E[E[Y |X]] = (2E[X] + 1) = 2. 2

3. La loi jointe du couple (X, Y ) est trs simple puisquon connat marginale et conditionnelle. Pour tout i , on a : 0 si j {i, i + 1} / pi,j = 1 si j {i, i + 1} 3i 4. La variable alatoire Y est valeurs dans

, avec

pj = (Y = j) =

1/3 si j = 1 4 si j 2 3j

5. On commence par dterminer la loi conditionnelle de X sachant Y = j. Or si Y = 1, il est clair que X vaut 1, donc que E[X|Y = 1] = 1. Si Y = j > 1, alors X ne peut valoir que j ou (j 1) et plus prcisment :

(X = j 1|Y = j) =Arnaud Guyader - Rennes 2

(X = j 1, Y = j) 3 = , (Y = j) 4Esprance conditionnelle & Chanes de Markov

1.6. Exercices et de mme : do lon dduit :

37

(X = j|Y = j) = ,3(j 1) j 4j 3 + = 4 4 4 On est donc oblig de faire attention la valeur 1 pour la variable alatoire X : E[X|Y = j] = E[X|Y ] = {Y =1} + 6. On a enn Cov(X, Y ) = E[XY ] E[X]E[Y ], or on a dj vu que E[X] = 3/2 et E[Y ] = 2 et E[XY ] = E[E[XY |X]] = E[XE[Y |X]] = E[X 1 2X + 1 ] = (2E[X 2 ] + E[X]). 2 2 4Y 3 {Y >1} 4

1 4

Il reste voir que E[X 2 ] = VarX + (E[X])2 , et se souvenir (ou recalculer) que la variance dune loi gomtrique de paramtre p est q/p2 (donc ici 3/4). On a donc : 1 3 9 3 15 E[XY ] = (2( + ) + ) = . 2 4 4 2 4 Finalement : Cov(X, Y ) = 3 15 3 = . 4 4

Exercice 1.17 (Couple alatoire) Rappels sur les sries entires : Pour tout x [1, 1[, on a : ln(1 x) = Pour tout x [1, 1[ et pour tout entier naturel k : k! = (1 x)k+1+ n=0

xn , n n=1

+

(n + k)! n x . n!

On considre un couple alatoire (X, Y ) valeurs dans par : (i, j) 2 \ {(0, 0)} 1. Calculer

2 \ {(0, 0)} dont la loi jointe est dnie1 (i + j 1)! . ln 2 i!j!3i 6j

(X = i, Y = j) =

3. Dterminer la loi de Y conditionnellement X = 0. Calculer E[Y |X = 0]. 5. En dduire E[Y |X].

(X = 0). 2. Pour tout i , calculer (X = i).

4. Pour tout i , dterminer la loi de Y conditionnellement X = i. Calculer E[Y |X = i].

6. En dduire lgalit suivante : 1 1 . E[Y ] E[X] = 5 5 ln 2

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

38 Corrig

Chapitre 1. Esprance conditionnelle

1. Lorsque X = 0, Y peut prendre les valeurs 1, 2, etc. On a donc :

(X = 0) =

+ j=1

(X = 0, Y = j) =

+ j=1

1 (j 1)! 1 = j ln 2 j!6 ln 2

+ j=1

1 , j6j

et il sut alors dappliquer la formule donne en rappel pour obtenir :

(X = 0) =.

ln 6 ln 5 ln 2

2. Lorsque X = i > 0, Y peut prendre les valeurs 0, 1, 2, etc. On a cette fois :

(X = i) =

+ j=0

1 (i + j 1)! 1 1 = i 6j ln 2 i!j!3 ln 2 i!3i

+ j=0

(j + (i 1))! , j!6j

et on applique la formule du rappel :

(X = i) =3. Pour tout j > 0, on a donc :

1 1 6i 1 2i (i 1)! i = . ln 2 i!3i 5 ln 2 i5i 1 (X = 0, Y = j) = . (X = 0) (ln 6 ln 5)j6j 1 ln 6 ln 5+ j=1

(Y = j|X = 0) =

La valeur moyenne de Y sachant X = 0 est donc :+

E[Y |X = 0] =

j (Y = j|X = 0) =

j=1

1 , 6j

et on reconnat une srie gomtrique : E[Y |X = 0] = 4. Soit i > 0 x. Pour tout j 0, on a : 1 . 5(ln 6 ln 5)

(Y = j|X = i) =

(X = i, Y = j) (i + j 1)!5i = . (X = i) (i 1)!j!6i+j+ j=1

Do lon dduit lesprance conditionnelle de Y sachant X = i :+

E[Y |X = i] = ce qui scrit encore :

j=0

5i j (Y = j|X = i) = (i 1)!6i

((j 1) + i)! 1 , (j 1)! 6j

E[Y |X = i] = cest--dire, aprs simplications :

5i (i 1)!6i+1

(n + i)! 1 , n! 6n n=0

+

E[Y |X = i] = Arnaud Guyader - Rennes 2

i . 5

Esprance conditionnelle & Chanes de Markov

1.6. Exercices 5. Pour lexpression de lesprance conditionnelle de Y sachant X, il faut donc faire attention X=0: E[Y |X] = 1 1 1 1 {X=0} + X {X>0} = {X=0} + X. 5(ln 6 ln 5) 5 5(ln 6 ln 5) 5 1 1 E[{X=0} ] + E[X]. 5(ln 6 ln 5) 5

39

6. On en dduit lesprance de Y en fonction de celle de X : E[Y ] = E[E[Y |X]] =

La variable alatoire {X=0} est binaire, elle prend les valeurs 0 et 1 avec les probabilits respectives (X > 0) et (X = 0), donc son esprance est tout simplement : E[{X=0} ] = 0 (X > 0) + 1 (X = 0) = (X = 0) = On en dduit que : E[Y ] = 1 1 + E[X], 5 ln 2 5 ln 6 ln 5 . ln 2

ce qui est bien le rsultat voulu. Remarque. Une version plus gnrale de cet exercice se trouve dans louvrage Toutes les probabilits et les statistiques, de Jacques Dauxois et Claudie Hassenforder, Ellipses, 2004. Exercice 1.18 (Echauement) On considre la fonction f dnie sur

2 par : 2 .

f (x, y) = e(x+y) {x0,y0} 1. Vrier que f est une densit sur 2. Soit (X, Y ) un couple de densit f . Dterminer les marginales f (x) et f (y). 3. Calculer la covariance du couple (X, Y ). Corrig 1. Il est clair que f est une fonction positive. Par ailleurs, par le thorme de Fubini-Tonelli, le calcul de son intgrale double sur 2 se fait sans problme :+ + 0

2

f (x, y) dx dy =0

e(x+y) dy

dx = = 1,

et f est bien une densit sur

2 .f (x, y) dy = = ex [0,+[ (x).

2. La densit f (x) de la variable alatoire X sobtient en intgrant par rapport y : f (x) =

3. On remarque que :

On voit donc que X suit une loi exponentielle de paramtre 1, ce que lon note : X E(1). Vu les rles symtriques jous par X et Y , la variable alatoire Y a la mme loi : Y E(1). (x, y) 2 f (x, y) = f (x)f (y),

donc X et Y sont indpendantes, donc leur covariance est nulle (rappelons que la rciproque est fausse en gnral, sauf dans le cas des vecteurs gaussiens).

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

40 Exercice 1.19 (Monte en puissance) Soit (X, Y ) un couple alatoire de densit jointe : f (x, y) =

Chapitre 1. Esprance conditionnelle

1 x y e y ]0,+[2 (x, y) y

1. Dterminer la densit marginale f (y) de Y . 2. En dduire la densit conditionnelle f (x|y). 3. Que vaut E[X|Y = y]. En dduire lesprance conditionnelle de X sachant Y . 4. On considre cette fois : f (x, y) =12 5 x(2

x y)]0,1[2 (x, y). Montrer que 5 4Y 8 6Y

E[X|Y ] = Corrig 1. La densit marginale de Y vaut :+

f (y) =0

1 x y e y ]0,+[ (y) dy, y

ce qui donne aprs calculs : cest--dire que Y (1).

f (y) = ey ]0,+[ (y),

2. On en dduit la densit conditionnelle f (x|y). Pour tout y > 0 : f (x|y) = donc sachant Y = y, X (1/y). 1 x f (x, y) = e y ]0,+[ (x), f (y) y

3. On sait que si X (), alors E[X] = 1/. Or sachant Y = y, X (1/y), donc : E[X|Y = y] = y, et par suite : E[X|Y ] = Y . 4. On considre cette fois : f (x, y) =12 5 x(2

x y)]0,1[2 (x, y). Pour montrer que 5 4Y , 8 6Y

E[X|Y ] =

il sut dappliquer la mthode usuelle. Si vous narrivez pas ce rsultat, cest que vous avez fait une faute de calcul quelque part ! Exercice 1.20 (Mai 2007) Soit (X, Y ) un couple alatoire de densit jointe : f (x, y) = cx(y x)ey {0 a), Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

44

Chapitre 1. Esprance conditionnelle or les variables alatoires L1 , . . . , Ln sont indpendantes et identiquement distribues, donc :

(L1 > a, . . . , Ln > a) = (L1 > a) (Ln > a) = (L1 > a)n .Mais on a alors :

(L1 > a) = 1 (L1 a) = 1 (L2 a2 ) = 1 (X 2 + Y 2 a2 ) = 1 G(a2 ) = 1 a2 . 1Ainsi : pa = 1 (1 a2 )n .

Exercice 1.24 (Lois exponentielles) Soit X et Y deux variables alatoires indpendantes suivant une loi exponentielle de mme paramtre > 0. 1. Quelle est la loi jointe fX,Y du couple (X, Y ) ? 2. Dterminer la loi jointe fV,W du couple (V, W ) dni par : V W 3. En dduire la densit de V . 4. Calculer f (w|v). Quelle loi reconnat-on ? = X +Y = X

Corrig Voir les annales, sujet de mai 2008. Exercice 1.25 (Minimum de variables exponentielles) 1. On considre deux variables alatoires indpendantes X1 et X2 exponentielles de paramtres respectifs 1 et 2 . Soit Y = min(X1 , X2 ) le minimum de ces deux variables. Montrer que Y suit une loi exponentielle de paramtre (1 + 2 ) (on pourra utiliser les fonctions de rpartition). 2. Montrer que :

(Y = X1 ) = (X1 < X2 ) =Indication : on pourra calculer

1 . 1 + 2

(X1 < X2 ) en conditionnant par rapport X2 .

3. Deux guichets sont ouverts une banque : le temps de service au premier (respectivement second) guichet suit une loi exponentielle de moyenne 20 (respectivement 30) minutes. Aude et Vincent sont convoqus la banque pour sexpliquer sur leurs dcouverts respectifs : Aude choisit le guichet 1, Vincent le 2. Quelle est la probabilit que Aude sorte la premire ? 4. En moyenne, combien de temps faut-il pour que les deux soient sortis ? Indication : le max de deux nombres, cest la somme moins le min.

Corrig Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov

1.6. Exercices 1. Notons FY la fonction de rpartition de Y , alors : FY (y) = (Y y) = (min(X1 , X2 ) y) = 1 P (min(X1 , X2 ) > y), ce qui scrit encore : FY (y) = 1 ({X1 > y} {X2 > y}) .

45

Or X1 et X2 sont indpendantes : FY (y) = 1 (X1 > y)(X2 > y) = 1 e1 y + (y)e2 y + (y) = 1 e(1 +2 )y + (y), 2. On a : cest--dire que Y E(1 + 2 ).

(Y = X1 ) = (X1 < X2 ) =cest--dire :

+ 0

(X1 < X2 |X2 = x)fX2 (x) dx,

(Y = X1 ) =

+ 0

(X1 < x|X2 = x)2 e2 x dx.

Mais puisque X1 et X2 sont indpendantes, le premier terme dans lintgrale est simplement :

(X1 < x|X2 = x) = (X1 < x) = 1 e1 x ,do lon dduit :

(Y = X1 ) =Finalement on a bien :

+ 0

2 e2 x 2 e(1 +2 )x dx = 1

2 . 1 + 2

(Y = X1 ) =

1 . 1 + 2

3. Rappelons quune exponentielle de moyenne 20 a pour paramtre 1/20. La probabilit que Aude sorte la premire est donc tout simplement : p= 3 1/20 = . 1/20 + 1/30 5

4. Soit Xa , respectivement Xv , le temps ncessaire pour que Aude, respectivement Vincent, sorte de la banque. On cherche donc calculer E[max(Xa , Xv )]. Il sut de remarquer que : max(Xa , Xv ) = Xa + Xv min(Xa , Xv ), do par linarit de lesprance : E[max(Xa , Xv )] = E[Xa ] + E[Xv ] E[min(Xa , Xv )] = 20 + 30 1 = 38 min. 1/20 + 1/30

Exercice 1.26 (Variable Y dnie partir de X) Soit X une variable alatoire de densit : 2 ln(1 + x) [0,1] (x) (ln 2)2 1 + x Soit Y une variable alatoire telle que la loi conditionnelle de Y sachant X = x est : 1 1 (y) ln(1 + x) 1 + y [0,x] Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

46 1. Donner la densit jointe du couple (X, Y ). 2. Les variables X et Y sont-elles indpendantes ?

Chapitre 1. Esprance conditionnelle

3. Quelle est la loi de Y ? Loi conditionnelle de X sachant Y ? 4. Dterminer lesprance conditionnelle E[X|Y ].

Corrig Cf. annales, sujet de juin 2006. Exercice 1.27 (Laiguille de Buon) On suppose quon lance une aiguille de longueur unit sur un parquet dont les lames sont ellesmmes de largeur unit. On voudrait calculer la probabilit p que laiguille soit cheval sur deux lames. On modlise le problme comme suit : la variable alatoire X correspond la distance du milieu de laiguille au bord de lame le plus proche, la variable alatoire T correspond langle entre laiguille et laxe des abscisses (cf. gure 1.18, gauche). On suppose que X est uniformment distribue sur [0, 1/2], T uniformment distribue sur [/2, /2], et que ces deux variables sont indpendantes.

X

T

R

Fig. 1.18 Modlisation de lexprience de Buon ( gauche) et solution diabolique ( droite).

1. Expliquer pourquoi la probabilit cherche peut scrire : p= X 2. Soit t [/2, /2]. Que vaut 1 | sin T | . 2

2 3. Grce un calcul de probabilit par conditionnement, en dduire que p = .

1 (X 2 | sin t|) ?

4. Mthode heuristique : on jette un trs grand nombre daiguilles sur le parquet, de sorte quil y en ait dans toutes les directions. On peut donc les mettre bout bout de faon former un trs grand cercle, de rayon R (cf. gure 1.18, droite). (a) Quel est approximativement le nombre N dallumettes ncessaires pour former ce cercle ? (b) Quel est approximativement le nombre Ni de lames de parquet intersectes par ces allumettes ?2 (c) En faisant le rapport entre ces deux nombres, retrouver le rsultat p = .

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

1.6. Exercices Exercice 1.28 (Casser un bton en trois) On casse un bton en trois morceaux au hasard et on veut connatre la probabilit de pouvoir faire un triangle avec ces trois morceaux. On suppose pour simplier les calculs que le bton est de longueur unit. 1. Premire mthode : on tire uniformment entre 0 et 1 deux variables alatoires indpendantes U et V . Reprsenter graphiquement, dans le carr [0, 1] [0, 1] les couples admissibles. En 1 dduire que la probabilit cherche vaut 4 . 2. Seconde mthode : on casse dabord le bton en deux morceaux (tirage dune variable alatoire X uniforme sur [0, 1]), puis on choisit au hasard lun des deux morceaux (pile ou face non biais), puis on recasse ce morceau en deux (tirage dune variable uniforme Y ). Dterminer la densit, note f (y|x), de Y sachant X = x. En dduire que la probabilit cherche 1 vaut ln 2 2 0.19.

47

3. Pourquoi ne trouve-t-on pas le mme rsultat ?

Exercice 1.29 (Triplet alatoire) Soit (X, Y, Z) un triplet alatoire. La loi marginale de X est donne par : f (x) = 1 3 x x e ]0,+[ (x). 6

La loi conditionnelle de Y sachant X = x est donne par : f (y|x) = 3 y2 (y). x3 ]0,x[

La loi conditionnelle de Z sachant X = x et Y = y est donne par : f (z|x, y) = 2 yz (z). y 2 ]0,y[

1. Soit V E(). Donner pour tout n : E[V n ].

2. Reprsenter lensemble des valeurs prises par le triplet (X, Y, Z).

3. Dterminer la densit jointe f (x, y, z). En dduire la densit de Z. 4. Que vaut la densit jointe du couple (X, Y ) conditionnellement Z = z ? 5. En dduire la densit de X sachant Z = z, note f (x|z), puis E[X|Z]. 6. Soit S = X + Y et T = X Y . Dterminer la densit jointe fS,T du couple (S, T ). Quelle loi suit la variable alatoire T ? Exercice 1.30 (Couple mixte) On rappelle que si V E(), on a : E[V n ] = n!/n . Soit alors (X, Y ) un couple de variables alatoires valeurs dans [0, +[, tel que : la loi marginale de Y est exponentielle de paramtre 1 ; la loi conditionnelle de X sachant Y = est une loi de Poisson de paramtre . Puisque le couple nest ni discret, ni absolument continu, on propose de noter p(n, ) sa loi jointe, p(n) = (X = n) la loi marginale de X, p() la densit de Y , etc. 1. Dterminer la loi jointe du couple (X, Y ), cest--dire p(n, ). 2. Dterminer la loi marginale de X, cest--dire p(n). Quel est le lien avec une loi gomtrique classique ? Que vaut E[X] ? 3. Dterminer la densit conditionnelle de Y sachant X = n, cest--dire p(|n). Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

48

Chapitre 1. Esprance conditionnelle 4. Dterminer lesprance conditionnelle de Y sachant X = n, cest--dire E[Y |X = n]. En dduire E[Y |X]. E[Y ] = E[E[Y |X]]. Exercice 1.31 (Triplet exponentiel) Soit X1 , X2 et X3 des variables i.i.d. de loi exponentielle de paramtre . On pose : Y1 = X2 X1 Y2 = X3 X1 On sintresse la densit jointe du couple (Y1 , Y2 ) sachant X1 = x1 . Montrer que pour tout triplet (x1 , y1 , y2 ) de 3 , on a : f (y1 , y2 |x1 ) = 2 e(2x1 +y1 +y2 ) {y1 x1 ,y2 x1 } . Exercice 1.32 (Droite de rgression en statistiques) On considre les tailles et poids de dix enfants de six ans : Taille 121 123 108 118 111 109 114 103 110 115 Poids 25 22 19 24 19 18 20 15 20 21 1. Calculer les esprances, variances et covariance empiriques pour cet chantillon. 2. Dterminer la droite de rgression y = ax + b. 3. Quelle est lerreur quadratique moyenne pour cet chantillon ? Exercice 1.33 (Droite de rgression en probabilits) Soit (X, Y ) un couple alatoire de densit jointe : f (x, y) = 1 2x2 2xy+y2 2 e 2

5. Vrier sur cet exemple la relation vue en cours dans les cas classiques :

1. Montrer que X N (0, 1) et Y N (0, 2), lois normales centres de variances respectives 1 et 2. 2. Montrer que la covariance du couple (X, Y ) vaut 1. 3. En dduire lquation de la droite de rgression de Y en X : y = ax + b. 4. Montrer que, sachant X = x, Y suit une loi normale N (x, 1). En dduire la courbe de rgression : x E[Y |X = x]. 5. Sachant X = x, on veut la probabilit que Y sloigne de ax + b de plus de une unit, i.e. calculer : (|Y (aX + b)| > 1|X = x). Indication : si V N (0, 1), alors

(|V | > 1) 0.32.

Exercice 1.34 (Droite de rgression et courbe de rgression) Soit (X, Y ) un couple alatoire de densit jointe :1 y2 2 1 f (x, y) = e 2 ( x2 2y+x +2x) {x>0} x 2

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

1.6. Exercices 1. 2. 3. 4. 5. 6. Montrer que X E(1), loi exponentielle de paramtre 1. Calculer f (y|x) pour montrer que, sachant X = x, Y suit une loi normale N (x2 , x2 ). En dduire la courbe de rgression : x E[Y |X = x]. Sachant X = x, donner une zone de conance 95% pour Y . Dterminer lquation de la droite de rgression de Y en X. Reprsenter graphiquement les rsultats.

49

Exercice 1.35 (Droite de rgression et points aberrants) Douze personnes sont inscrites une formation. Au dbut de la formation, ces stagiaires subissent une preuve A note sur 20. A la n de la formation, elles subissent une preuve B de niveau identique. Les rsultats sont donns dans le tableau suivant : Epreuve A 3 4 6 7 9 10 9 11 12 13 15 4 Epreuve B 8 9 10 13 15 14 13 16 13 19 6 19 1. Reprsenter le nuage de points. Dterminer la droite de rgression. Calculer le coecient de corrlation. Commenter. 2. Deux stagiaires semblent se distinguer des autres. Les supprimer4 et dterminer la droite de rgression sur les dix points restants. Calculer le coecient de corrlation. Commenter.

Notes Epreuve B

6

8

10

12

14

16

18

4

6

8 Notes Epreuve A

10

12

14

Fig. 1.19 Reprsentation des notes et droite de rgression pour lensemble des 12 stagiaires. Corrig 1. Le nuage de points ainsi que la droite de rgression sont reprsents gure 1.19. On cherche expliquer les notes lpreuve B, notes y1 , . . . , y12 partir des notes lpreuve A, notes x1 , . . . , x12 . Lquation de la droite de rgression est y = ax + avec : b, a= 4

12 i=1 (xi x)(yi 12 2 i=1 (xi x)

y)

0.11

Je ne crois aux statistiques que lorsque je les ai moi-mme falsies. Winston Churchill.

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

50

Chapitre 1. Esprance conditionnelle rapport de la covariance empirique entre les notes lpreuve A et celles lpreuve B et de la variance empirique des notes lpreuve A. Pour lordonne lorigine, on a : = y ax 12.0 b Le coecient de corrlation linaire vaut : = 12 i=1 (xi 12 i=1 (xi

x)(yi y)

x)2

12 i=1 (yi

y )2

0.10

Le coecient proche de 0 pourrait laisser penser quil ny a pas une forte corrlation linaire entre les notes lpreuve A et les notes lpreuve B. De fait, sur la gure 1.19, la droite de rgression ne semble pas reprsenter correctement le nuage de points.

Notes Epreuve B

8

10

12

14

16

18

4

6

8 Notes Epreuve A

10

12

Fig. 1.20 Reprsentation des notes et droite de rgression pour les 10 premiers stagiaires. 2. On limine les notes des deux derniers stagiaires, cest--dire les deux dernires colonnes du tableau. Le nuage de points ainsi que la droite de rgression sont reprsents gure 1.20. Lquation de la droite de rgression est encore y = ax + avec : b, a= 10 i=1 (xi x)(yi 10 2 i=1 (xi x)

y)

0.90

rapport de la covariance empirique entre les notes lpreuve A et celles lpreuve B et de la variance empirique des notes lpreuve A. Pour lordonne lorigine, on a : = y ax 5.5 b Le coecient de corrlation linaire vaut : = 10 i=1 (xi 10 i=1 (xi

x)(yi y)

x)2

10 i=1 (yi

y )2

0.90

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

1.6. Exercices On obtient cette fois une forte corrlation linaire puisque est proche de 1. De mme, sur la gure 1.20, la droite de rgression est tout fait reprsentative du nuage de points. Ainsi les notes des 2 derniers individus susaient masquer la forte corrlation linaire et fausser compltement la rgression linaire pour expliquer la seconde note partir de la premire : ce sont ce quon appelle des individus aberrants. On trouvera la dnition prcise de cette notion dans le livre de Pierre-Andr Cornillon et Eric Matzner-Lber [7], paragraphe 4.1.2. Exercice 1.36 (Un peu de prdiction) Soit x. Soit (Zn )n0 une suite de variables alatoires indpendantes centres et de mme variance 2 . On construit partir de (Zn )n0 la suite de variables alatoires (Xn )n0 comme suit X0 = Z0 Xn+1 = Zn Zn1 1. Pourquoi les Xn sont-elles de carrs intgrables ? 2. Montrer que la projection de Xn+1 sur le sous-espace de L2 engendr par les (Xi )0in , not dans le cours E[Xn+1 |X0 , . . . , Xn ], est :n+1

51

Xn+1 =

j Xn+1jj=1

On lappelle encore le prdicteur des moindres carrs de Xn+1 . 3. Calculer lerreur quadratique moyenne, encore appele erreur de prdiction, cest--dire : E[(Xn+1 Xn+1 )2 ]. Exercice 1.37 (Un problme dterministe) Le but de lexercice est de dterminer deux nombres rels a et b qui minimisent lintgrale :1 0

(ex ax b)2 dx.

On utilise pour ce faire une interprtation stochastique du problme. Considrons lespace probabilis (, F, ) = ([0, 1], B[0,1] , [0,1] ). Dans ce contexte, une variable alatoire est tout simplement une fonction borlienne f : [0, 1] . Si elle est intgrable sur [0, 1], son esprance est :1

E[f ] =0

f (x) dx.

H = L2 ([0, 1], B[0,1] , [0,1] ) est donc lespace des fonctions borliennes de carrs intgrables sur lintervalle [0, 1]. Montrer que le problme de minimisation ci-dessus revient alors dterminer une droite de rgression. En dduire a et b. Corrig Si on adopte les notations vues en rgression dans le cours, la fonction identit x x correspond la variable alatoire X, tandis que la fonction x ex correspond la variable alatoire Y . De faon gnrale, faire une rgression linaire de la variable alatoire Y sur la variable alatoire X, cest chercher les deux rels a et b tels que lerreur quadratique moyenne faite en approchant Y par aX + b soit minimale. On veut donc trouver : arg min E (Y (aX + b))2 ,a,b

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

52 ce qui, transpos dans notre contexte, scrit encore :1

Chapitre 1. Esprance conditionnelle

arg mina,b 0

(ex ax b)2 dx.

Il nous sut donc dappliquer les formules habituelles donnant pente et ordonne lorigine en fonction des esprances, variances et covariance : a = Cov(X,Y ) Var(X) b = E[Y ] aE[X] Il reste valuer les quantits en jeu. Lesprance de X correspond la valeur moyenne prise par la fonction identit sur [0, 1] : 1 1 x dx = . E[X] = 2 0 De mme pour lesprance de Y :1

E[Y ] =0

ex dx = e 1.

La variance de X est comme dhabitude : Var(X) = E[X 2 ] E2 [X], avec : E[X 2 ] =0 1

x2 dx =

1 , 3

do nalement : Var(X) =

1 12 .

De mme, on a : Cov(X, Y ) = E[XY ] E[X]E[Y ].

Or les variables alatoires X et Y sont lies par la relation Y = eX , donc : E[XY ] = E XeX =0 1

xex dx,

ce qui donne aprs une intgration par parties : 1 E[XY ] = 1 Cov(X, Y ) = (3 e). 2 On en dduit que les coecients de la rgression linaire sont : a = 6(3 e) 1.69. b = 2(2e 5) 0.87. Autrement dit, sur lintervalle [0, 1], la meilleure approximation au sens de la norme L2 de la fonction x ex par une fonction ane est donne par la droite (cf. gure 1.21) : y = 6(3 e)x + 2(2e 5) 1.69x + 0.87. Remarque. Lapproche brutale consisterait voir la quantit optimiser comme une fonction des deux variables a et b :1

(a, b) =0

(ex ax b)2 dx, Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

1.6. Exercices

53

2.8

1.0 0.8

. .... ... .... .... .... .... .... ..... ..... ..... ..... ..... .. ...... .... .... ..... ..... ..... .. ...... ..... ..... ..... ..... ...... ... ...... ..... ...... ...... ...... ....... .... ...... ....... ...... ....... ....... ....... ..... ....... ........ ........ ........ ........ ........ ...... ......... ......... .......... ......... ......... .......... ......... ..........

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

Fig. 1.21 Approximation en norme L2 de x ex par une fonction ane sur [0, 1]. ce qui donne aprs dveloppement et calculs : (a, b) = 1 a2 + b2 + ab 2a + 2(1 e)b + (e2 1). 3 2

On eectue une factorisation la Gauss : (a, b) = b e 1 a 22

+

1 (a 6(3 e))2 12

7 2 57 e 20e + 2 2

.

Cette quantit est minimale lorsquon annule les 2 carrs, cest--dire lorsque : a = 6(3 e) b = e 1 a = 2(2e 5) 2 On retrouve le rsultat prcdent. Happy end !

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

Chapitre 2

Vecteurs gaussiens et conditionnementIntroductionLe calcul conditionnel sexprime trs simplement dans le cadre gaussien, puisque tout se ramne du calcul matriciel. Cest pourquoi on dit quon est dans un cadre linaire. Cest ce qui devrait ressortir de ce chapitre. Au pralable, il convient de faire quelques rappels sur les lois normales uni- et multi-dimensionnelles.

2.12.1.1

Rappels sur les vecteurs gaussiensVariables gaussiennes

Dans toute la suite, (, F, ) est un espace probabilis.

0.40

0.14

0.12

3 2 1

0 1 4

2

3

4

7

5

3

1

1

3

5

7

9

Fig. 2.1 Densits des lois normales N (0, 1) ( gauche) et N (2, 9) ( droite).

Dnition 2.1 (Variable gaussienne) On dit que la variable alatoire X : (, F, ) (, B) est gaussienne de moyenne m et de variance 55

56

Chapitre 2. Vecteurs gaussiens et conditionnement 2 > 0 et on note X N (m, 2 ), si X admet pour densit : f (x) = 1 2 2 e(xm)2 2 2

Des exemples de courbes en cloches sont donns gure 2.1. Remarques. Supposons quon tire des nombres selon une loi normale N (m, 2 ), par exemple avec un ordinateur. Alors plus lcart-type est faible et plus on a des chances dobtenir des rsultats autour de la moyenne m : 68% de tomber distance infrieure ou gale , 95% de tomber distance infrieure ou gale 2, 99, 7% de tomber distance infrieure ou gale 3. Ceci est illustr gure 2.2. La loi dune variable gaussienne est compltement dnie par la seule donne de sa moyenne m et de sa variance 2 . Si la variance 2 est nulle, dire que X N (m, 0) signie que la variable alatoire X est (quasi-) dterministe : elle ne prend presque srement que la valeur m. Il y a un lien trs simple entre la loi normale centre rduite et toute autre loi normale, puisque : si X N (0, 1), alors Y = X + m N (m, 2 ). On verra que cette proprit admet une gnralisation vectorielle.

0.40

4

3

2

1

1

2

3

4

68%

95%

99, 7% Fig. 2.2 Intervalles de conance 68%, 95% et 99, 7% pour une N (0, 1). On rappelle que la fonction caractristique dune variable alatoire X est la fonction X :

t

X (t) = E[eitX ]

Pour aller vite, la fonction caractristique joue pour les variables alatoires densit le mme rle que la fonction gnratrice des moments pour les variables discrtes, cest--dire quil y a un lien entre les moments dune variable alatoire et les drives successives de sa fonction caractristique. Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov

2.1. Rappels sur les vecteurs gaussiens Si X admet des moments de tout ordre, alors X est C sur X (0) = in E[X n ]. Rappelons aussi que la loi dune variable alatoire est compltement caractrise par sa fonction caractristique (do son nom, la vie est bien faite...). Proposition 2.1 (Fonction caractristique dune variable gaussienne) Si X N (m, 2 ), sa fonction caractristique est donne pour tout rel t par : X (t) = eimt 2 t2 2

57

et :

(n)

.

Preuve. Soit X N (0, 1), alors sa fonction caractristique est dnie par : X (t) = E[eitX ] =x2 1 eitx e 2 dx, 2

quantit complexe quon peut dcomposer en parties relle et imaginaire : X (t) = quon crit plus simplement :x2 1 cos(tx) e 2 dx + i 2 x2 1 sin(tx) e 2 dx, 2

1 X (t) = (F (t) + iG(t)). 2

Ainsi dnie, la fonction F :

t

cos(tx)e

x2 2

dx

est une intgrale dpendant dun paramtre. On peut donc lui appliquer la thorie de Lebesgue, en commenant par sassurer quelle est bien dnie pour tout rel t puisque :

cos(tx)e

x2 2

dx

cos(tx)e

x2 2

dx dx

e

x2 2

dx =

2.

On vrie de mme quelle est drivable sur par rapport t sous le signe dintgration : t

, sa drive sobtenant tout simplement en drivantsin(tx)xex2 2

F (t) =

dx.

On eectue une intgration par parties : F (t) = sin(tx)e cest--dire : x 22

+

t

cos(tx)e

x2 2

dx,

t

F (t) = tF (t), F (t) = e 2 .t2

quation direntielle linaire du premier ordre, qui sintgre sans problme :

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

58 Et puisquon a la condition initiale : F (0) = on en dduit que : t

Chapitre 2. Vecteurs gaussiens et conditionnement

cos(0x)e

x2 2

dx =

2,

F (t) =

2 e 2 .

t2

Par ailleurs, la fonction G est identiquement nulle, puisque : G(t) =

sin(tx)e

x2 2

dx

est lintgrale dune fonction impaire sur un domaine symtrique par rapport 0, donc vaut 0. Ainsi, lorsque X N (0, 1), sa fonction caractristique est : t X (t) = e 2 .t2

Si maintenant on considre Y = X + m, alors Y N (m, 2 ) et sa fonction caractristique est : Y (t) = E[eit(X+m) ] = eimt E[ei(t)X ] = eimt X (t), et on peut se servir de ce quon vient de voir pour en dduire : t Y (t) = eimt 2 t2 2

.+ un n=0 n! ),

Exercice. A partir du dveloppement en srie entire de lexponentielle (eu = que si X N (0, 1), alors ses moments sont donns par : E[X 2n+1 ] = 0 (2n)! E[X 2n ] = 2n n!

montrer

Via le thorme de Paul Lvy, les fonctions caractristiques sont un outil ecace pour montrer la convergence en loi dune suite de variables alatoires : il sut de prouver la convergence simple de la suite des fonctions caractristiques. Cest dailleurs ainsi quon montre le rsultat qui fait toute limportance de la loi normale, savoir le thorme central limite. En voici la version la plus simple : si (Xn )n1 est une suite de variables alatoires indpendantes et identiquement distribues (en abrg i.i.d.) de carr intgrable, alors en notant Sn = X1 + + Xn , on a la convergence en loi vers la loi normale centre rduite : Sn nE[X1 ] L N (0, 1), n VarX1 n+ cest--dire que pour tout intervalle (a, b) den a

, on a :b

S nE[X1 ] b n VarX1

n+

a

x2 1 e 2 dx. 2

Autrement dit, la somme dun grand nombre de variables alatoires i.i.d. se comporte comme une loi normale. Laspect remarquable de ce rsultat tient bien sr au fait que la loi commune des Xn peut tre nimporte quoi ! Celle-ci peut aussi bien tre discrte quabsolument continue, mixte ou singulire. La seule chose requise est lexistence du moment dordre 2. Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov

2.1. Rappels sur les vecteurs gaussiens

59

2.1.2

Vecteurs gaussiens

La dnition dun vecteur gaussien est a priori un peu tordue. Dnition 2.2 (Vecteur gaussien) On dit que le vecteur alatoire1 X = [X1 , . . . , Xd ] est un vecteur gaussien si pour tout d-uplet (1 , . . . , d ) de rels, la variable alatoire 1 X1 + + d Xd est gaussienne. En particulier, une variable alatoire gaussienne est un vecteur gaussien de dimension 1. Par ailleurs, il dcoule de la dnition le rsultat suivant. Proposition 2.2 (Vecteur gaussien Composantes gaussiennes) Si le vecteur alatoire X = [X1 , . . . , Xd ] est un vecteur gaussien, alors chaque variable alatoire Xi est gaussienne. Preuve. Si X = [X1 , . . . , Xd ] est gaussien, alors en prenant 1 = 1 et i = 0 pour tout i 2, on en dduit que :d

X1 =i=1

i Xi

est gaussienne. Idem pour X2 , . . . , Xd .

La rciproque nest pas vraie, comme le montre la situation suivante.

1

F (t)

0.5

F (t)3 2

t

1

0.0 0

1

t

2

3

Fig. 2.3 Fonction de rpartition F dune loi normale N (0, 1) et relation : F (t) = 1 F (t). Remarque : Composantes gaussiennes Vecteur gaussien. Soit X N (0, 1) et une variable alatoire indpendante de X et suivant une loi de Rademacher : elle prend les valeurs +1 et 1 de faon quiprobable. Considrons la nouvelle variable Y = X1

Dans tout le polycopi, le symbole correspond la transposition.

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

60

Chapitre 2. Vecteurs gaussiens et conditionnement et le vecteur alatoire V = [X, Y ] . La variable alatoire Y est gaussienne, comme le montre sa fonction de rpartition : FY (u) = (Y u) = (X u) = (X u| = 1)( = 1) + (X u| = 1)( = 1), expression quon peut simplier grce lindpendance de X et : FY (u) = 1 1 ((X u) + (X u)) = ((X u) + (X u)), 2 2

et en notant FX la fonction de rpartition dune loi normale centre rduite, cest--dire :t

FX (t) =

x2 1 e 2 dx, 2

1 (1 FX (u) + FX (u)) = FX (u), 2 la dernire galit venant de la symtrie dune loi normale centre rduite par rapport lorigine (voir gure 2.3) : u FX (u) = 1 FX (u). FY (u) =

on a donc :

Ainsi Y suit une loi normale N (0, 1), tout comme X. Mais le vecteur V = [X, Y ] nest pas gaussien, puisque si on considre la variable alatoire Z = X + Y = (1 + )X, on a :

(Z = 0) = (1 + = 0) = ( = 1) = ,ce qui est impossible pour une variable gaussienne ! En eet, cette probabilit vaut 0 pour toute loi gaussienne N (m, 2 ), sauf si m = 2 = 0, auquel cas elle vaut 1. A titre indicatif la fonction de rpartition de Z est donne gure 2.4 : cest un exemple de loi mixte.

1 2

1.0

0.5

3

2

1

0

1

2

3

Fig. 2.4 Fonction de rpartition de la variable alatoire Z.

Il y a cependant une situation o les choses se passent bien.

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

2.1. Rappels sur les vecteurs gaussiens Proposition 2.3 (Composantes gaussiennes indpendantes Vecteur gaussien) Soit (X1 , . . . , Xd ) une suite indpendante de variables alatoires. Le vecteur X = [X1 , . . . , Xd ] est gaussien si et seulement si pour tout i {1, . . . , d}, la variable alatoire Xi est gaussienne.2 Preuve. Si les variables alatoires gaussiennes Xi N (mi, i ) sont gaussiennes et indpendantes, alors la variable alatoire : d d

61

Y = 1 X1 + + d Xd N

i mi,i=1 i=1

2 2 i i

.

Ceci se vrie par exemple sans problme sur la fonction caractristique de Y . Ainsi toute combinaison linaire des composantes Xi est une variable gaussienne et par suite X = [X1 , . . . , Xd ] est un vecteur gaussien. Comme on la vu en proposition 2.2, la rciproque est toujours vraie, que les composantes soient indpendantes ou non. Prenons un vecteur alatoire X = [X1 , . . . , Xd ] , non ncessairement gaussien, mais dont toutes les composantes Xi admettent un moment dordre 2, ce quon note de faon naturelle X L2 (). On peut alors dnir la moyenne m de ce vecteur par : E[X1 ] . , m = E[X] = . . E[Xd ] et sa matrice de covariance : = E[(X E[X])(X E[X]) ], encore appele matrice de dispersion, de taille d d, avec pour terme gnrique : i,j = Cov(Xi , Xj ). On peut donner une proprit gnrale sur ces matrices de dispersion. Proposition 2.4 (Matrice de covariance) Si elle existe, la matrice de covariance dun vecteur alatoire est symtrique relle positive. Elle est donc diagonalisable en base orthonorme : = P P, avec P = P 1 et = diag{1 , . . . , d }, les i tant tous positifs ou nuls. Achtung ! Quand on parle dune matrice symtrique relle S, dire quelle est positive ne signie pas que ses coecients sont positifs ! On entend par l que : u d , u Su 0.

On dit aussi que la forme quadratique associe est positive. Preuve. Laspect symtrique rel est clair par dnition de la matrice de covariance. Il faut prouver que pour tout vecteur rel u = [u1 , . . . , ud ] , on a u u 0. Or cette quantit vaut : u E[(X E[X])(X E[X]) ]u = E[(u (X E[X]))((X E[X]) u)] = E[(u (X E[X]))2 ] 0. Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

62

Chapitre 2. Vecteurs gaussiens et conditionnement

Au passage, on a tabli le rsultat suivant, utile dans les applications. Proposition 2.5 (Variance et matrice de dispersion) Soit X = [X1 , . . . , Xd ] un vecteur alatoire de matrice de dispersion . La variable alatoire Z = 1 X1 + + d Xd = X a pour variance : 1 . Var(Z) = = [1 , . . . , d ] . . . d Remarque. La matrice nest pas ncessairement dnie positive. Par exemple, si X1 est une variable alatoire de variance 1, le vecteur X = [X1 , 1 + X1 ] a pour matrice de dispersion : = 1 1 1 1 ,

qui est clairement de rang 1. On voit que le vecteur alatoire X, a priori valeurs dans 2 , ne prend en fait ses valeurs que sur la droite dquation y = 1 + x. Ceci est vrai de faon gnrale : est de rang strictement infrieur d si et seulement si le vecteur alatoire X ne prend ses valeurs que dans un sous-espace ane de d . Rappelons que si X est un vecteur alatoire de dimension d, on peut dnir sa fonction caractristique comme suit X : u = [u1 , . . . , ud ] X (u) = E[ei u,X ] = E[ei

d

Pd

j=1

uj Xj

]

Sans numrer toutes les proprits de la fonction caractristique dun vecteur alatoire, disons simplement que : Comme en dimension 1, elle sert dmontrer la convergence en loi dune suite de vecteurs alatoires (cf. infra la version vectorielle du thorme central limite). Les variables alatoires X1 , . . . , Xd sont indpendantes si et seulement si : u d d

X (u) =j=1

Xj (uj ).

De plus, tout comme en dimension 1, une loi gaussienne multidimensionnelle est compltement caractrise par la fonction caractristique, laquelle ne fait intervenir que le vecteur moyenne et la matrice de dispersion. Proposition 2.6 (Fonction caractristique dun vecteur gaussien) Soit X un vecteur alatoire de dimension d, de vecteur moyenne m et de matrice de covariance , alors X est gaussien si et seulement si sa fonction caractristique scrit pour tout u d : X (u) = eiu m 2 u u On note alors X Nd (m, ). Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov 1

2.1. Rappels sur les vecteurs gaussiens Preuve. Supposons le vecteur X = [X1 , . . . , Xd ] gaussien, de moyenne m et de matrice de covariance . Alors la variable alatoire : Y = u1 X1 + + ud Xd = u X est gaussienne, de moyenne : = u1 E[X1 ] + + ud E[Xd ] = u m, et de variance (cf. proposition 2.5) : 2 = u u. On peut alors appliquer la Proposition 2.1 : Y (t) = eit Et on conclut en remarquant que : X (u) = E[eiu X ] = E[eiY ] = Y (1) = eiu m 2 u u . Rciproquement, supposons X = [X1 , . . . , Xd ] vecteur alatoire de moyenne m, de matrice de covariance et de fonction caractristique : X (u) = eiu m 2 u u La variable alatoire : Y = 1 X1 + + d Xd = X a pour fonction caractristique : Y (t) = E[eitY ] = E[ei(t) X ] = X (t), cest--dire : 1 1 2 t2 2

63

= eiu mt 2 u ut .

1

2

Y (t) = ei(t) m 2 (t) (t) = ei( m)t 2 ( )t . La Proposition 2.1 assure donc que Y est gaussienne et plus prcisment : Y N m, . Ainsi X est bien un vecteur alatoire gaussien.

1

1

2

Les lois normales sont stables par transformation ane. Le rsultat suivant, sur lequel on serait tent de jeter un coup dil distrait, est dutilit constante dans la manipulation des vecteurs gaussiens. Proposition 2.7 (Transformation ane) Si X est un vecteur gaussien d-dimensionnel, avec X Nd (m, ), si A Mk,d () et si B Mk,1 (), alors le vecteur Y = AX + B est gaussien avec : Y Nk (Am + B, AA ).

Esprance conditionnelle & Chanes de Markov

Arnaud Guyader - Rennes 2

64

Chapitre 2. Vecteurs gaussiens et conditionnement Preuve. Il sut dutiliser la caractrisation par la fonction caractristique ci-dessus. On a en eet : u k Y (u) = E[eiu Y ] = E[eiu (AX+B) ] = eiu B E[ei(u A)X ], cest--dire :

Y (u) = eiu B X (A u) = eiu (Am+B) 2 u (AA )u , ce qui exactement dire que : Y Nk (Am + B, AA ). Remarque. Il arrive souvent quun vecteur Y soit construit partir dun autre vecteur X par une transformation ane. Si X est un vecteur gaussien, par exemple lorsquil est compos de variables alatoires gaussiennes indpendantes, ce rsultat permet den dduire automatiquement le fait que Y est aussi un vecteur gaussien. Voir les exercices de n de chapitre : Processus autorgressif, Moyenne mobile. Rappel. Soit X et Y deux variables alatoires de carrs intgrables. On dit quelles sont non corrles si : Cov(X, Y ) = 0, ce qui quivaut dire que : E[XY ] = E[X]E[Y ], ou encore que la matrice de covariance du vecteur [X, Y ] est diagonale. Ceci est bien sr toujours vrai lorsquelles sont indpendantes, puisqualors on a plus gnralement pour toutes bonnes fonctions f et g : E[f (X)g(Y )] = E[f (X)]E[g(Y )]. La rciproque est fausse en gnral, comme le montre lexemple suivant.

1

y y = x2

y

x

x

Fig. 2.5 Supp(X, Y ) ( gauche) = Supp(X) Supp(Y ) ( droite). Exemple : Dcorrlation Indpendance Soit X N (0, 1) et Y = X 2 , donc E[Y ] = E[X 2 ] = Var(X) = 1. X et Y sont bien dcorrles puisque E[X]E[Y ] = 0 1 = 0 et : E[XY ] = E[X 3 ] = 0, Arnaud Guyader - Rennes 2 Esprance conditionnelle & Chanes de Markov

2.1. Rappels sur les vecteurs gaussiens une loi gaussienne ayant tous ses moments dordres impairs nuls. Cependant X et Y ne sont pas indpendantes. Ceci est clair intuitivement puisque Y est une fonction dterministe de X. On peut aussi le justier par lesprance conditionnelle : E[Y |X] = E[X 2 |X] = X 2 = E[Y ] = 1. Une dernire faon de le voir est de remarquer que le support du vecteur alatoire [X, Y ] est la parabole y = x2 du plan et non le produit cartsien + des supports des variables (voir gure 2.5). Dans le cas de vecteurs gaussiens, cependant, la dcorrlation est quivalente lindpendance. Proposition 2.8 (Indpendance Dcorrlation) Soit X = [X1 , . . . , Xd ] un vecteur alatoire gaussien. Les variables alatoires (X1 , . . . , Xd ) sont indpendantes si et seulement si elles sont non corrles, cest--dire si et seulement si la matrice de dispersion est diagonale. Preuve. Supposons X gaussien et de composantes indpendantes. Alors ces composantes sont a fortiori non corrles, cest--dire : (i, j) {1, . . . , d}2 Cov(Xi , Xj ) = 0,

65

et la matrice est diagonale. Ceci est dailleurs toujours vrai, laspect gaussien de X nest pas ncessaire. Rciproquement, supposons X gaussien et de matrice de covariance diagonale :2 2 = diag(1 , . . . , d ).

Si on note m = [m1 , . . . , md ] la moyenne de X, celui-ci admet pour fonction caractristique : X (u) = eiu m 2 u u , quon peut factoriser en :d 1

X (u) =j=1

Xj (uj ),

o Xj est tout bonnement la fonction caractristique de Xj : j {1, . . . , d} Xj (uj ) = eimj uj 2 j u2 j 2

.

Ainsi la fonction caractristique du vecteur X = [X1 , . . . , Xd ] est le produit des fonctions caractristiques de ses composantes Xj : cest une caractrisation de lindpendance des Xj . Remarque. Pour pouvoir appliquer le critre dindpendance ci-dessus, il faut que le vecteur soit gaussien : le fait que les composantes le soient nest pas susant. Pour sen convaincre, il sut de revenir lexemple vu prcdemment : X N (0, 1) et Y = X, avec variable de Rademacher indpendante de X. On a vu que Y suit elle aussi une loi normale centre rduite, donc les deux variables X et Y sont gaussiennes. De plus, puisque X et sont indpendantes, on a : Cov(X, Y ) = E[XY ] E[X]E[Y ] = E[X 2 ] = E[]E[X 2 ] = 0, la dernire galit venant du fait que est centre. Ainsi X et Y sont gaussiennes et dcorrles. Pourtant elles ne sont pas indpendantes : il appert quune fois connue la ralisation de X, Y ne Esprance conditionnelle & Chanes de Markov Arnaud Guyader - Rennes 2

66

Chapitre 2. Vecteurs gaussiens et conditionnement peut valoir que la mme chose ou loppos. Plus rigoureusement, on peut nouveau le justier par les supports : le support du couple (X, Y ) est lunion des deux droites y = x et y = x, tandis que le produit cartsien des supports de X et Y est le plan 2 . Le problme, dj constat, vient de ce que le vecteur [X, Y ] nest pas gaussien, bien que ses composantes le soient. Etant donn un vecteur gaussien X = [X1 , . . . , Xd ] de moyenne m et de matrice de covariance donnes, on peut toujours se ramener un vecteur alatoire dont les composantes sont indpendantes. Proposition 2.9 (Changement de repre orthonormal) Soit X = [X1 , . . . , Xd ] un vecteur gaussien de moyenne m et de matrice de covariance . Il existe P orthogonale telle que P P = = diag(1 , . . . , d ), avec les j 0. Alors les composantes Yj du vecteur alatoire Y = P (X m) sont des variables alatoires gaussiennes indpendantes centres de variances respectives j . Preuve. Puisque est symtrique relle positive, elle est diagonalisable en base orthonorme : = P P , avec : = diag(1 , . . . , d ), o les j sont les valeurs propres positives de et P une matrice orthogonale. Si on considre maintenant le nouveau vecteur alatoire Y = [Y1 , . . . , Yd ] = P (X m) = P X P m, cest encore un vecteur gaussien, en tant que transforme ane dun vecteur gaussien (Proposition 2.7). Plus prcisment, on sait que : Y Nd (P m P m, P P ) = Nd (0, ). Ainsi le vecteur gaussien Y est centr et ses composantes sont indpendantes, puisque sa matrice de dispersion est diagonale (Proposition 2.8). Remarques : 1. La reprsentation de la densit de Y est bien plus simple que celle de X puisquon sest ramen un produit de densits gaussiennes indpendantes : en dimension 2, on obtient donc une surface en cloche plus ou moins aplatie suivant la direction (cf. exercice Changement de base). La surface en cloche standard correspond une loi centre et de matrice de covariance identit (cf. gure 2.6). 2. Si j = 0 pour un indice j, la loi du vecteur X est dgnre. Et on a alors Yj = 0 presque srement (cf. exercice Problme de dgnrescence). Applications. 1. Simulation : supposons quon ait simuler un vecteur gaussien X = [X1 , . . . , Xd ] de moyenne m et de matrice de covariance donnes. On dispose simplement dun gnrateur de variables normales centres rduites indpendantes (par exemple rnorm en R). On peut crire comme ci-dessus = P P = A A, avec A = P P et : = diag 1 , . . . , d . Il sut alors de simuler d variables i.i.d. Uj N (0, 1) et de considrer : X = AU + m. Le rsultat de transformation ane et le fait que la matrice de covariance de U soit lidentit assurent que X a les proprits requises.

Arnaud Guyader - Rennes 2

Esprance conditionnelle & Chanes de Markov

2.1. Rappels sur les vecteurs gaussiens

67

Z 0.4

0.2

0.0 5 0 Y 5 5 0 X

5

Fig. 2.6 Densit dun vecteur gaussien centr de matrice de dispersion identit.

2. Composantes principales : dans les applications, on a souvent trait