Matrice stochastique Chaˆıne de Markov - Julian Tugauttugaut.perso.math.cnrs.fr/pdf/enseignement/2014/PA/CM13.pdf · On dit que le processus X = (Xn)n est une P-chaˆıne de Markov

Matrice stochastiqueChaıne de Markov

Mesures invariantes

Probabilites Approfondies

Chaınes de Markov

Julian Tugaut

Telecom Saint-Etienne

Julian Tugaut Probabilites Approfondies

Sommaire

1 Matrice stochastique

2 Chaıne de Markov

3 Mesures invariantes

Plan


2 Chaıne de Markov



Mesures invariantes

Definition

D’abord, soit E l’espace d’etat. On le suppose fini ou denombrable.



Mesures invariantes

Definition


Definition

On dit que P := P(x , y)x ,y∈E est une matrice stochastique si lesdeux conditions suivantes sont realisees :

1 Pour tous x , y ∈ E , on a P(x , y) ≥ 0.

2 Pour tout x ∈ E , on a∑

y∈E P(x , y) = 1.



Mesures invariantes

Definition


Definition

On dit que P := P(x , y)x ,y∈E est une matrice stochastique si lesdeux conditions suivantes sont realisees :

1 Pour tous x , y ∈ E , on a P(x , y) ≥ 0.

2 Pour tout x ∈ E , on a∑

y∈E P(x , y) = 1.

Definition

On dit aussi que P est une matrice de transition d’une chaıne deMarkov.



Mesures invariantes

Probabilite de transition

Pour tout A ⊂ E , on pose :

P(x ,A) :=∑

y∈A

P(x , y) .



Mesures invariantes



P(x ,A) :=∑

y∈A

P(x , y) .

Proposition

Pour tout x ∈ E , l’application A 7→ P(x ,A) est une probabilite sur

l’espace mesure(

E , 2E)

.



Mesures invariantes



P(x ,A) :=∑

y∈A

P(x , y) .

Proposition

Pour tout x ∈ E , l’application A 7→ P(x ,A) est une probabilite sur

l’espace mesure(

E , 2E)

.

Exercice

Demontrer la propriete.


Plan


2 Chaıne de Markov


Chaıne de Markov elementaire

Definition

Un processus X := (Xn)n est une chaıne de Markov elementaire surE de probabilite de transition P si pour tout n ∈ N, pour tousx0, · · · , xn+1, on a

P (Xn+1 = xn+1 | Xn = xn, · · · ,X0 = x0)

= P (Xn+1 = xn+1 | Xn = xn)

= P (xn, xn+1) ,

si P (Xn = xn, · · · ,X0 = x0) > 0.

Chaıne de Markov elementaire

Definition

Un processus X := (Xn)n est une chaıne de Markov elementaire surE de probabilite de transition P si pour tout n ∈ N, pour tousx0, · · · , xn+1, on a

P (Xn+1 = xn+1 | Xn = xn, · · · ,X0 = x0)

= P (Xn+1 = xn+1 | Xn = xn)

= P (xn, xn+1) ,

si P (Xn = xn, · · · ,X0 = x0) > 0.

L’idee est la suivante : la chaıne de Markov oublie son passe et nechoisit sa position au temps n + 1 qu’a partir de sa position autemps n. Et, le choix de sa position se fait suivant la loi deprobabilite P(xn, .).


Mesures invariantes

Comment creer une chaıne de Markov ?

Proposition

Soit (ξn)n une suite de variables aleatoires independantes etidentiquement distribuees. Soit H une fonction mesurable deE × R dans E . On pose X0(ω) := x0 pour tout ω puis

Xn+1 = H (Xn(ω), ξn+1(ω)) .

Alors X := (Xn)n est une chaıne de Markov de probabilite detransition P ou l’on a

P(x , y) := P (H(x , ξ1) = y) .


Preuve - 1

Preuve

Soit n ∈ N et soient x0, · · · , xn+1 ∈ E . Alors :

P (Xn+1 = xn+1,Xn = xn, · · · ,X0 = x0)

= P (H(xn, ξn+1),Xn = xn, · · · ,X0 = x0) .

Or, l’evenement Xn = xn, · · · ,X0 = x0 est mesurable par rapporta la tribu σ (X0, · · · ,Xn), qui est une sous-tribu de σ (ξ1, · · · , ξn).Et, H(xn, ξn+1) est mesurable par rapport a σ(ξn+1) donc lavariable aleatoire H(xn, ξn+1) est independante de la tribuσ (ξ1, · · · , ξn) car les variables aleatoires (ξn)n sont independantes.Il vient :

P (Xn+1 = xn+1,Xn = xn, · · · ,X0 = x0)

= P (H(xn, ξn+1) = xn+1) × P (Xn = xn, · · · ,X0 = x0) .


Mesures invariantes

Preuve - 2

De meme :

P (Xn+1 = xn+1,Xn = xn) = P (H(xn, ξn+1) = xn+1)×P (Xn = xn) .

Consequemment, on a

P (Xn+1 = xn+1 | Xn = xn, · · · ,X0 = x0)

= P (Xn+1 = xn+1 | Xn = xn)

= P (H(xn, ξn+1) = xn+1)

= P (H(xn, ξ1) = xn+1) .



Mesures invariantes

Jeu du pile ou face - 1

Exemple : Pile ou face

On s’interesse a

Nn := # piles consecutifs au temps n .

Montrer que (Nn)n est une chaıne de Markov et donner P.

Soit (ξi )i la suite de piles ou faces. C’est une suite de variablesaleatoires independantes et identiquement distribuees telles queP(ξ1 = 1) = p = 1 − P(ξ1 = 0).

On a N0 = 0. On remarque :

Si ξn+1 = 0, alors Nn+1 = 0.

Si ξn+1 = 1, alors Nn+1 = Nn + 1.



Mesures invariantes

Jeu du pile ou face - 2

Donc, on peut ecrire

Nn+1 = (Nn + 1)ξn+1 .

On en deduit que (Nn)n est une chaıne de Markov avecH(x , ξ) := (x + 1)ξ. On peut ensuite calculer la matrice detransition facilement

P (H(n, ξ1) = m) = 0

si m /∈ 0; n + 1 tandis que

P (H(n, ξ1) = n + 1) = p et P (H(n, ξ1) = 0) = 1 − p .



Mesures invariantes

Resultat

Proposition

Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout x0, · · · , xn ∈ E ,on a

P (Xn = xn, · · · ,X0 = x0) = µ0(x0)P(x0, x1) · · ·P(xn−1, xn) .



Mesures invariantes

Resultat

Proposition

Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout x0, · · · , xn ∈ E ,on a

P (Xn = xn, · · · ,X0 = x0) = µ0(x0)P(x0, x1) · · ·P(xn−1, xn) .

Exercice

Demontrer la propriete.



Mesures invariantes

Notations

Notation

Soit P une matrice stochastique et f une fonction de E dans R.On pose

(Pf )(x) :=∑

y∈E

P(x , y)f (y) .



Mesures invariantes

Notations

Notation

Soit P une matrice stochastique et f une fonction de E dans R.On pose

(Pf )(x) :=∑

y∈E

P(x , y)f (y) .

Notation

Soit P une matrice stochastique et µ une mesure sur E . On pose

(µP)(y) :=∑

y∈E

µ(x)P(x , y) .



Mesures invariantes

Resultat

Proposition

Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout xn ∈ E , on a

P (Xn = xn) = (µPn) (x) .



Mesures invariantes

Resultat

Proposition

Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout xn ∈ E , on a

P (Xn = xn) = (µPn) (x) .

Exercice

Montrer la propriete.



Mesures invariantes

P-chaıne de Markov

Definition

Soit (Ω, F , (Fn)n ,P) un espace filtre. Soit E un espace d’etat finiou denombrable. Soit P une matrice stochastique sur E .On dit que le processus X = (Xn)n est une P-chaıne de Markov parrapport a la filtration (Fn)n si X est adapte a la filtration (Fn)n etsi pour toute fonction mesurable bornee de E dans R, on a

E f (Xn+1) | Fn (ω) = (Pf )(Xn)(ω)

pour tout n ∈ N, P-presque surement.



Mesures invariantes

Remarque

Remarque

Si X est une P-chaıne de Markov par rapport a la filtration (Fn)n,c’est une chaıne de Markov par rapport a sa filtration naturelle,(σ(X0, · · · ,Xn))n.



Mesures invariantes

Remarque

Remarque

Si X est une P-chaıne de Markov par rapport a la filtration (Fn)n,c’est une chaıne de Markov par rapport a sa filtration naturelle,(σ(X0, · · · ,Xn))n.

Preuve

On utilise pour cela la propriete de tour.



Mesures invariantes

Lien entre les deux definitions

Theoreme

(a) Si X est une P-chaıne de Markov par rapport a la filtration(Fn)n alors X est une chaıne de Markov elementaire de noyau detransition P.

(b) Si X est une chaıne elementaire de noyau de transition P, alorsX est une P-chaıne de Markov par rapport a la filtration (F0

n )navec F0

n := σ(X0, · · · ,Xn).


Preuve - 1

Preuve

(a) Soit X une P-chaıne de Markov par rapport a la filtration(Fn)n. Soit n ∈ N. Soient x0, · · · , xn+1 ∈ E . Alors :

P (Xn+1 = xn+1, · · · ,X0 = x0)

= E

(

1xn+1(Xn+1)1Xn=xn,··· ,X0=x0

)

= E

[

E

(

1xn+1(Xn+1) | Fn

)

1Xn=xn,··· ,X0=x0

]

= E

[

P(Xn, xn+1)1Xn=xn,··· ,X0=x0

]

= P(xn, xn+1)E[

1Xn=xn,··· ,X0=x0

]

= P(xn, xn+1)P (Xn = xn, · · · ,X0 = x0) ,

ce qui acheve la preuve du (a).


Mesures invariantes

Preuve - 2

(b) Soit X une chaıne de Markov elementaire de probabilite detransition P. Alors, X est adapte a sa filtration naturelle, parconstruction de celle-ci. Soit maintenant une fonction mesurablebornee f . On a

E [f (Xn+1) | Xn, · · · ,X0] =∑

y∈E

f (y)P (Xn+1 = y | Xn, · · · ,X0)

=∑

y∈E

f (y)P(Xn, y)

= (Pf )(Xn) ,

ce qui acheve la preuve du (b).


Plan


2 Chaıne de Markov



Mesures invariantes

Introduction

Dans le cas ou l’espace d’etat, E , est fini ou denombrable, lesmesures de probabilites sont des vecteurs.



Mesures invariantes

Introduction

Dans le cas ou l’espace d’etat, E , est fini ou denombrable, lesmesures de probabilites sont des vecteurs.

On va definir dans cette section une notion primordiale dansl’etude des processus aleatoires (de Markov ou non) : celle desmesures invariantes. En effet, une question naturelle est lecomportement en temps long des processus. C’est meme le nerf dela guerre dans de nombreuses etudes. Or, les mesures invariantesjouent un role fondamental dans ces questions.



Mesures invariantes

Existence

Definition

Une mesure de probabilite sur l’espace mesure(

E , 2E)

est une

mesure invariante pour la P-chaıne de Markov si l’on a µP = µ.



Mesures invariantes

Existence

Definition


E , 2E)

est une


Deux questions se posent immediatement : la chaıne de Markovadmet-elle une probabilite invariante ? Le cas echeant, a-t-onl’unicite de cette probabilite invariante ?



Mesures invariantes

Existence

Definition


E , 2E)

est une


Deux questions se posent immediatement : la chaıne de Markovadmet-elle une probabilite invariante ? Le cas echeant, a-t-onl’unicite de cette probabilite invariante ?

Proposition

Si E est fini, il y a au moins une probabilite invariante.


Non-unicite

On observe en effet que le produit de la matrice stochastique P

avec le vecteur-colonne 1 constitue uniquement de 1 est egal a 1.Des resultats d’algebre lineaire nous donnent immediatementl’existence d’un vecteur ligne v dont tous les coefficients sontpositifs tel que vP = v .

Non-unicite


avec le vecteur-colonne 1 constitue uniquement de 1 est egal a 1.Des resultats d’algebre lineaire nous donnent immediatementl’existence d’un vecteur ligne v dont tous les coefficients sontpositifs tel que vP = v .On ne dispose pas de l’unicite.

Non-unicite


avec le vecteur-colonne 1 constitue uniquement de 1 est egal a 1.Des resultats d’algebre lineaire nous donnent immediatementl’existence d’un vecteur ligne v dont tous les coefficients sontpositifs tel que vP = v .On ne dispose pas de l’unicite.

Contre-exemple

On prend la matrice P :=

(

1 00 1

)

. On peut verifier que c’est

bien une matrice stochastique. Or, µ(1) := (1, 0) et µ(2) := (0, 1)sont des probabilites invariantes.

Non-existence

Exemple

On prend maintenant un espace d’etat infini : E = Z. On considerela marche aleatoire la plus simple c’est-a-dire :

P(n, n + 1) = P(n, n − 1) =1

2.

On resout l’equation µP(x) = µ(x) pour tout x ∈ Z :

µP(x) =µ(x + 1) + µ(x − 1)

2= µ(x) .

On obtient µ(x + 1) − µ(x) = µ(x) − µ(x − 1) = C d’ouµ(x) = xC + µ(0). Si C = 0, µ est une constante et n’est pas uneprobabilite. Si C 6= 0, (µ(x))x est non borne. Il n’y a donc pas deprobabilite invariante.

Documents

Matrice stochastique Chaˆıne de Markov - Julian Tugauttugaut.perso.math.cnrs.fr/pdf/enseignement/2014/PA/CM13.pdf · On dit que le processus X = (Xn)n est une P-chaˆıne de Markov