147
1 Sorbonne Universit ´ e, Facult ´ e de Sciences Master de Math ´ ematiques M1 2017-2018 Calcul et Contr ˆ ole Stochastique et Applications ` a la finance Camille Tardif 10-01-2018 Polycopi ´ e de Philippe Bougerol

Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Embed Size (px)

Citation preview

Page 1: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

1

Sorbonne Universit

´

e, Facult

´

e de Sciences

Master de Math

´

ematiques M1 2017-2018

Calcul et Contr

ˆ

ole Stochastique

et Applications

`

a la finance

Camille Tardif

10-01-2018

Polycopi

´

e de Philippe Bougerol

Page 2: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

2

Page 3: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Table des matieres

1 Introduction 9

1.1 Plan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.2 Un peu de bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2.1 En Francais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2.2 Deux gros livres specifiquement sur les aspects financiers. . . . 11

1.2.3 Un livre en anglais, parmi d’autres . . . . . . . . . . . . . . . . 11

1.2.4 Les articles de Wikipedia . . . . . . . . . . . . . . . . . . . . . 11

I Modeles a temps discret 13

2 Introduction a l’evaluation en finance, Vocabulaire et produits 15

2.1 Finance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.1.2 Les metiers de la finance . . . . . . . . . . . . . . . . . . . . . . 15

2.2 La valeur du temps: Taux d’interet . . . . . . . . . . . . . . . . . . . . 16

2.2.1 Economiquement . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.2.2 Mathematiquement . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.2.3 Actualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.2.4 Quelques taux utilises . . . . . . . . . . . . . . . . . . . . . . . 18

2.3 Actifs financiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.3.1 Actifs de Base . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.3.2 Marche a terme . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.3.3 Marches derives: Produits optionnels . . . . . . . . . . . . . . . 19

2.4 Utilite versus AOA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.5 Le modele d’evaluation de base le plus simple . . . . . . . . . . . . . . 21

2.5.1 Le modele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.6 Portefeuille de couverture . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.6.1 Interpretation probabiliste . . . . . . . . . . . . . . . . . . . . . 22

2.6.2 Univers risque neutre . . . . . . . . . . . . . . . . . . . . . . . 23

Page 4: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

4 TABLE DES MATIERES

3 Rappels et complements d’analyse et de probabilite 253.1 Probabilites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.1.1 Mesurabilite et variables aleatoires . . . . . . . . . . . . . . . . 253.1.2 Classe monotone . . . . . . . . . . . . . . . . . . . . . . . . . . 263.1.3 Independance et esperance conditionnelle . . . . . . . . . . . . 26

3.2 Projection dans un Hilbert . . . . . . . . . . . . . . . . . . . . . . . . 273.3 Theoreme de Radon Nikodym . . . . . . . . . . . . . . . . . . . . . . . 283.4 Esperance conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.4.1 Un theoreme de Bayes . . . . . . . . . . . . . . . . . . . . . . . 30

4 Calcul stochastique a temps discret 334.1 Filtration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.2 Martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.3 L’integrale stochastique discrete . . . . . . . . . . . . . . . . . . . . . . 344.4 Un theoreme de Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . 364.5 Martingale continue a droite . . . . . . . . . . . . . . . . . . . . . . . . 374.6 Martingale locale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5 Controle stochastique a horizon fini 435.1 Systemes dynamiques a temps discret . . . . . . . . . . . . . . . . . . 43

5.1.1 Systeme dynamique controle deterministe . . . . . . . . . . . . 435.1.2 Systeme dynamique aleatoire . . . . . . . . . . . . . . . . . . . 445.1.3 Systeme dynamique controle aleatoire . . . . . . . . . . . . . . 455.1.4 Strategies markoviennes . . . . . . . . . . . . . . . . . . . . . . 48

5.2 Programmation dynamique . . . . . . . . . . . . . . . . . . . . . . . . 495.3 Premiers Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5.3.1 Cas deterministe . . . . . . . . . . . . . . . . . . . . . . . . . . 505.3.2 Remarque fondamentale sur la complexite . . . . . . . . . . . . 515.3.3 Remplacement de machines . . . . . . . . . . . . . . . . . . . . 515.3.4 Gestion de stock . . . . . . . . . . . . . . . . . . . . . . . . . . 525.3.5 Une solution explicite . . . . . . . . . . . . . . . . . . . . . . . 53

5.4 Arret optimal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555.4.2 Enveloppe de Snell d’une suite adaptee . . . . . . . . . . . . . 555.4.3 Cadre markovien . . . . . . . . . . . . . . . . . . . . . . . . . . 565.4.4 Approche du cas Markovien par l’enveloppe de Snell . . . . . . 575.4.5 Approche du cas markovien par la programmation dynamique . 575.4.6 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

6 Marches a temps discret, AOA, completude 636.1 Modele Stock-Bond . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636.2 Portefeuille du marche (S,B) et autofinancement . . . . . . . . . . . . 64

6.2.1 Portefeuille . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646.2.2 Autofinancement . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Page 5: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

TABLE DES MATIERES 5

6.2.3 Changement de numeraire . . . . . . . . . . . . . . . . . . . . . 65

6.3 AOA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

6.3.1 Lemme sur la transformee de Laplace . . . . . . . . . . . . . . 67

6.3.2 Preuve du theoreme. . . . . . . . . . . . . . . . . . . . . . . . . 68

6.4 Evaluation d’un actif replicable dans un marche viable . . . . . . . . . 70

6.5 Marche complet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

6.5.1 Complet => Unicite de P . . . . . . . . . . . . . . . . . . . . . 72

6.5.2 Unicite de P => Propriete de Bernoulli . . . . . . . . . . . . . 72

6.5.3 Propriete de Bernoulli => Representation previsible . . . . . . 72

6.5.4 Representation previsible => Complet . . . . . . . . . . . . . . 73

6.6 Modele binomial de Cox, Ross et Rubinstein . . . . . . . . . . . . . . 74

6.6.1 Le modele d’arbre recombinant de CRR . . . . . . . . . . . . . 74

6.6.2 Representation previsible . . . . . . . . . . . . . . . . . . . . . 76

6.6.3 Prix d’options, Portefeuille de couverture . . . . . . . . . . . . 77

6.7 Appendice: Preuve de la proposition 6.5.5 . . . . . . . . . . . . . . . . 78

7 Theorie du Portefeuille de Markowitz 81

7.1 La notion d’Utilite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

7.2 Multiplicateurs de Lagrange . . . . . . . . . . . . . . . . . . . . . . . . 83

7.3 Theorie du portefeuille de Markowitz . . . . . . . . . . . . . . . . . . . 84

7.3.1 Cas sans taux fixe . . . . . . . . . . . . . . . . . . . . . . . . . 85

7.3.2 Frontiere de Markowitz . . . . . . . . . . . . . . . . . . . . . . 86

7.3.3 Avec un actif sans risque, a taux fixe, Theorie de Tobin . . . . 87

8 Controle et filtrage lineaire optimal 91

8.1 Le cadre du controle lineaire . . . . . . . . . . . . . . . . . . . . . . . . 91

8.2 Matrices symetriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

8.3 Programmation dynamique . . . . . . . . . . . . . . . . . . . . . . . . 93

8.4 Variantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

8.4.1 Coe�cients dependant du temps . . . . . . . . . . . . . . . . . 95

8.4.2 Correction de trajectoire . . . . . . . . . . . . . . . . . . . . . . 95

8.5 Le probleme du filtrage . . . . . . . . . . . . . . . . . . . . . . . . . . 96

8.5.1 Gaussiennes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

8.6 Le Filtre de Kalman Bucy . . . . . . . . . . . . . . . . . . . . . . . . 98

8.6.1 Le Probleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

8.6.2 Decomposition a l’aide de l’innovation . . . . . . . . . . . . . . 98

8.6.3 Calcul de la matrice de gain . . . . . . . . . . . . . . . . . . . . 100

8.6.4 L’algorithme . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

8.6.5 Equation de Riccati . . . . . . . . . . . . . . . . . . . . . . . . 101

8.7 Controle avec information imparfaite . . . . . . . . . . . . . . . . . . . 101

Page 6: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6 TABLE DES MATIERES

9 Filtrage Markovien non lineaire: Cas fini 1059.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1059.2 Le modele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1059.3 Les equations du filtrage . . . . . . . . . . . . . . . . . . . . . . . . . . 106

9.3.1 L’etape de prediction . . . . . . . . . . . . . . . . . . . . . . . . 1069.3.2 L’etape de mise a jour ou correction . . . . . . . . . . . . . . . 107

II Modeles a temps continu 109

10 Calcul stochastique a temps continu, par rapport au brownien 11110.1 Mouvement Brownien . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

10.1.1 Famille gaussienne . . . . . . . . . . . . . . . . . . . . . . . . . 11110.1.2 Definition du mouvement brownien . . . . . . . . . . . . . . . . 11110.1.3 Quelques proprietes . . . . . . . . . . . . . . . . . . . . . . . . 113

10.2 Propriete de Markov forte du Brownien . . . . . . . . . . . . . . . . . 11410.2.1 Martingales et mouvement brownien . . . . . . . . . . . . . . . 116

10.3 Integrale stochastique . . . . . . . . . . . . . . . . . . . . . . . . . . . 11710.4 Processus arrete, martingale locale . . . . . . . . . . . . . . . . . . . . 11910.5 Formule d’Ito pour le Brownien . . . . . . . . . . . . . . . . . . . . . . 121

10.5.1 Generalisation unidimensionnelle . . . . . . . . . . . . . . . . . 12210.5.2 Cas multidimensionnel . . . . . . . . . . . . . . . . . . . . . . . 123

10.6 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12410.7 Theoreme de Girsanov . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

10.7.1 Une application . . . . . . . . . . . . . . . . . . . . . . . . . . . 12610.8 Equations di↵erentielles stochastiques . . . . . . . . . . . . . . . . . . 127

10.8.1 Estimees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12810.8.2 Propriete de Markov . . . . . . . . . . . . . . . . . . . . . . . . 130

10.9 Processus de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13110.9.1 Feynman-Kac . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

11 Black et Scholes 13511.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13511.2 Le modele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

11.2.1 Le spot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13611.3 Portefeuille autofinance . . . . . . . . . . . . . . . . . . . . . . . . . . 13711.4 AOA et l’univers risque neutre . . . . . . . . . . . . . . . . . . . . . . 13711.5 Marche complet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13811.6 Formules de Black et Scholes . . . . . . . . . . . . . . . . . . . . . . . 14011.7 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

11.7.1 Volatilite implicite . . . . . . . . . . . . . . . . . . . . . . . . . 14111.7.2 Gestion Delta neutre . . . . . . . . . . . . . . . . . . . . . . . . 141

11.8 Generalisations du modele de Black et Scholes . . . . . . . . . . . . . 14111.8.1 Cas particulier . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

Page 7: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

TABLE DES MATIERES 7

12 Controle et gestion de portefeuille en temps continu 14312.1 Le cadre du controle de di↵usions . . . . . . . . . . . . . . . . . . . . . 14312.2 L’equation HJB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14312.3 Le modele de consommation investissement de Merton . . . . . . . . . 145

Page 8: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8 TABLE DES MATIERES

Page 9: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 1

Introduction

1.1. Plan

De nombreux phenomenes dependent en partie du hasard, il su�t de penser a la meteode demain. On s’interesse dans ce cours a ceux qui varient au cours du temps. NotonsXt l’etat de ce phenomene a l’instant t. Suivant que t prend des valeurs entieres dansN ou reelles dans R+, on aura une modelisation a temps discret ou continu et on diraque Xt est un processus a temps discret ou continu.

Souvent on se place a l’instant t0

representant le present, et l’on cherche a travailleravec le processus Xt, t � t

0

, dans le futur, donc largement inconnu.

Plusieurs questions sont interessantes. En theorie du controle, on peut agir surl’etat Xt a l’instant t et le transformer pour atteindre un but. Ce peut etre amenerune fusee sur la lune, ou gagner de l’argent. En theorie du filtrage, on ne connaitpas bien l’etat lui meme et on cherche donc a l’approcher (quitte a utiliser cetteapproximation ensuite pour faire du controle).

Le but de ce cours est d’introduire les methodes utilisees e↵ectivement pour traiterces problemes. Un des champs d’application est celui de la finance mathematique.C’est aujourd’hui celui qui propose le plus de debouches. Nous l’etudierons en detail.

Dans une premiere partie, on se concentre sur le temps discret. C’est la queles concepts sont les plus clairs et souvent directement applicables sur machines.Ensuite, nous etudions le cas du temps continu. Meme si mathematiquement il estplus sophistique, il est en fait, dans de nombreux cas pratiques, beaucoup plus facileet rapide a utiliser. Pour cette raison il est incontournable.

Le plan, un peu arbitraire, suivi est le suivant:

Premi

`

ere partie; Temps discret

1. On commence par introduire le vocabulaire de la finance et la problematiquede l’evaluation d’actifs derives. Ce sera souvent une source d’exemples.

Page 10: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10 Introduction

2. Ensuite quelques rappels d’analyse et de probabilites. Puis le calcul stochastiquesur les martingales discretes.

3. On traite alors la theorie du controle a temps discret, la programmation dy-namique et l’algorithme de Bellman, le probleme de l’arret optimal.

4. Les theoremes fondamentaux de l’evaluation d’actifs.5. La gestion de portefeuille.6. Controle et filtrage quadratique.

Deuxi

`

eme partie; Temps continu

1. Mouvement Brownien2. Calcul stochatique d’Ito. Theoreme de Girsanov.3. Formules de Black et Scholes.4. Gestion de portefeuille a temps continu.

1.2. Un peu de bibliographie

1.2.1. En Francais

M. Benaım, N. El Karoui : ”Chaınes de Markov et simulations ; martingales etstrategies.” Les Editions de l’Ecole Polytechnique, Eyrolles (2004)

L. Carassus, G. Pages : ”Finance de marche - Modeles mathematiques a tempsdiscret”, Vuibert, (2015).

F. Comets, Th. Meyre : ”Calcul Stochastique et Modeles de Di↵usion” (2015),Collection Master, Dunod

R.A. Dana, M. Jeanblanc-Picque : ”Marches financiers en temps continu: valori-sation et equilibre”. Economica (1998)

J.-F. Delmas, B. Jourdain : ”Modeles aleatoires”, volume 57 de Mathematiqueset Applications. Springer, Berlin, (2006).

G. Demange, J.C. Rochet : ”Methodes mathematiques de la finance”. Economica(1997)

N. El Karoui, E. Gobet: ”Les outils stochastiques des marches financiers”. Leseditions de l’Ecole Polytechnique, (2011).

D. Lamberton, B. Lapeyre : ”Introduction au calcul stochastique applique a lafinance”. Ellipses (1997)

E. Pardoux : ”Processus de Markov et applications: Algorithmes, reseaux, genomeet finance”, Dunod, (2007).

Page 11: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

1.2 Un peu de bibliographie 11

1.2.2. Deux gros livres specifiquement sur les aspects financiers.

P. Poncet et R. Portait, Finance de marche de Patrice Poncet et Roland Portait,Dalloz

J. Hull, Options futures et autres actifs derives, 6 eme Edition, Pearson Education.

1.2.3. Un livre en anglais, parmi d’autres

A. Etheridge : ”A Course in Financial Calculus”, Cambridge University Press(2002)

1.2.4. Les articles de Wikipedia

Qui sont souvent tres bien faits...

Page 12: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

12 Introduction

Page 13: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Partie I

Modeles a temps discret

Page 14: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain
Page 15: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 2

Introduction a l’evaluation enfinance, Vocabulaire et produits

2.1. Finance

2.1.1. Definition

D’apres Robert Merton (Prix Nobel d’economie en 1997 avec Myron Scholes, FisherBlack etant mort en 1995):

La finance est l’etude des manieres d’allouer des ressources monetaires rares aufil du temps:

• Les decisions financieres engendrent des recettes et depenses reparties dans letemps.

• Les recettes et depenses ne sont generalement pas connues par avance aveccertitude.

Allouer des ressources rares : optimiser risque, rentabilite (ou cout) avec deuxcontraintes : Tenir compte de la valeur du temps et mesurer l’incertitude.

2.1.2. Les metiers de la finance

I. La finance d’entreprise (Direction Financiere) (planification strategique, controlefinancier, etc...)

II. La finance en dehors de l’entreprise.

• marches financiers (beaucoup de produits di↵erents)

• institutions financieres (credit, placement,operations complexes)

• institutions gouvernementales (garanties,financement)

Page 16: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

16 Introduction a l’evaluation en finance, Vocabulaire et produits

Le systeme financier est l’ensemble des marches et intermediaires qui sont utilisespar les menages, les entreprises et les Etats pour mener a bien leurs decisions fi-nancieres. Ce systeme inclut les marches d’actions, d’obligations, et autres titres fi-nanciers, ainsi que les banques et les compagnies d’assurance. Les transferts de fondspassent souvent par un intermediaire.

Les actifs financiers principaux qui sont echanges sur les marches sont les dettes(obligations), les actions, les devises et les produits derives :

Les obligations sont des dettes. La vente d’une obligation equivaut donc a un em-prunt et son achat a un pret. Elle est emise par les entreprises (emprunts obligataireset billets de tresorerie), les Etats (OAT, bons du Tresor).

Les actions sont les titres juridiques des proprietaires d’une entreprise. On parled’actions pour les societes anonymes, et de parts pour les Sarl.

Les devises correspondent aux monnaies (etrangeres);

Les produits derives sont des titres financiers comme les options ou les contratsa terme (futures) dont la valeur derive (vient) de la valeur d’un ou plusieurs autresactifs.

2.2. La valeur du temps: Taux d’interet

2.2.1. Economiquement

”Un tiens vaut, ce dit-on, mieux que deux tu l’auras :

L’un est sur, l’autre ne l’est pas.”

La Fontaine, Le petit poisson et le pecheur.

La meme chose, quantifiee: Je prefere 100 Euros aujourd’hui que 102 Euros dansun an. Autrement dit, le temps change la valeur de l’argent. Pour mesurer ceci, onintroduit la notion de taux d’interet.

Le taux d’interet est le loyer de l’argent. Pour un consommateur, l’interet est leprix a payer pour la jouissance immediate d’un bien de consommation (ex : automo-bile, appartement). Pour un epargnant, l’interet est la recompense pour la remise aplus tard de cette jouissance. Pour une entreprise le prix a payer pour utiliser et fairefructifier l’argent prete.

(Pour Wikipedia) Le taux d’interet d’un pret ou d’un emprunt est le pourcent-age, calcule selon des conventions predefinies, qui mesure de facon synthetique, surune periode donnee, la rentabilite pour le preteur ou le cout pour l’emprunteur del’echeancier de flux financiers du pret ou de l’emprunt.

Page 17: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

2.2 La valeur du temps: Taux d’interet 17

2.2.2. Mathematiquement

Definition 2.2.1 Le taux d’interet sur la periode de temps [t0

, t0

+ T ] est le reel rtel que K e place a la date t

0

donne K(1 + r) e a la date t0

+ T .

Dans un premier temps faisons comme si ceci ne dependait pas de t0

.

Definition 2.2.2 Le taux d’interet annuel ra le reel ra tel que K e place a la datet0

donne K(1 + ra) e a la date t0

+ 1, mesuree en annees.

La quantite V aujourd’hui place au taux annuel ra donne

Vn = V (1 + ra)n.

au bout de n annees. Plus generalement au bout du temps t compte en annees

Vt = V (1 + ra)t

(on voit apparaitre la notion d’interets composes).

On utilise aussi, surtout en finance theorique et en mathematiques, le taux d’interetcontinu, rc.

Definition 2.2.3 Le Taux d’interet continu rc le reel rc tel que K e place a la datet0

donne Kerct e a la date t0

+ t, mesuree en annees.

Si rc est tres petit, les deux notions se rejoignent car

etrc ⇠ (1 + rc)t.

En pratique ce taux depend de la longueur de t, il y a donc plusieurs taux.

2.2.3. Actualisation

Au taux annuel r, la valeur aujourd’hui actualisee d’une somme W recue a la date t(en annee) est

W

(1 + r)t.

On dit que c’est la valeur actualisee de W .Plus generalement, la valeur actualisee d’une suite de flux Wi, i = 1, 2, · · · , n,

recus aux dates ti (en annee) est

nX

i=1

Wi

(1 + r)ti.

Page 18: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

18 Introduction a l’evaluation en finance, Vocabulaire et produits

2.2.4. Quelques taux utilises

En fait les taux varient tout le temps. Il faut donc connaitre toute la ”courbe destaux”, c’est a dire aujourd’hui les taux a toutes tes echeances, donc a 1 jour, 2 jours,4 semaine, 4 mois, 12 ans, etc.. Voici, en europe, les taux de references a court termesprincipaux:

• EONIA (Euro Overnight Index Average) : taux au jour le jour.

• EURIBOR (Euro InterBank O↵ered Rate) : taux a 1, 2, 3 semaines et de 1 a12 mois.

• LIBOR Pareil pour la livre anglaise.

et beaucoup de taux proprement francais (TAM,...)

2.3. Actifs financiers

Le mot actif financier est synonyme de produit financier. Parlons des produits ”stan-dardises” qui se traitent par l’intermediaire d’une bourse (comme l’EURONEXT aParis) ou d’un etablissement similaire. On distingue trois types de produits.

2.3.1. Actifs de Base

Les Actifs de Base (Underlying Asset), ou supports, principaux sont:

• Actions (Stock, Shares): Une action est un titre de propriete representant unefraction du capital de l’entreprise, donnant droit de vote, d’information, dedividende. Notions de Prix, Dividendes.

• Obligations (Bond): Une obligation est un titre de creance (emprunt/ pret) a untaux fixe pour une duree fixee. Notions de Taux nominal, Prix, Taux actuariel.

• Devises (Currency); cours

• Matieres premieres; cours

• Indices (Index) (exemples Cac 40, Nasdaq).

• Energie (Gaz, Electricite)

Ces actifs peuvent etre tous achetes et vendus et sont traites au comptant,

Page 19: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

2.3 Actifs financiers 19

2.3.2. Marche a terme

Les actifs precedents peuvent aussi etre traites a terme. Un vendeur et un acheteurse fixent aujourd’hui une date T dans le futur et un prix P . Le jour T il vend (resp.achete) au prix P le produit. Il existe de nombreuses variantes ”organisees”. (forward,future, Fra, swaps), de facon abondante (on dit: avec une grande liquidite). Cesproduits ne seront pas importants pour nous, donc je n’insiste pas.

Quelques exemples sophistiques de marches a termes traites par Nyse-Euronext:MATIF (contrat notionnel 100.000 sur 10 ans, a 3.5, ), EURIBOR 3 mois, CONTRATCAC 40 (voir www.euronext.com si interesse...)

2.3.3. Marches derives: Produits optionnels

Les deux types de produits precedents peuvent etre traites de facon optionnelle, surdes marches organises (type bourse) ou de gre a gre. Decrivons en le principe endetail car c’est sur ce type de produit que les mathematiques jouent un role essentiel,depuis 1973 et l’apport fondamental de Black, Scholes et Merton.

Limitons nous aux options sur les produits au comptant.

Definition 2.3.1 Une option Call est un contrat donnant a son detenteur le droit,mais pas l’obligation, d’acheter un actif donne, appele le sous jacent ou le support,a une date donnee si c’est un Call europeen, et jusqu’a une date donnee si c’est uncall Americain (cette date est appelee echeance ou maturite) et a un prix convenu al’avance, appele prix d’exercice (Strike en anglais).

Si l’achat a lieu, on dit que l’acheteur exerce son option. Puisqu’il n’est pas obligede le faire ce contrat amene un gain qui est toujours positif. Il n’est donc pas gratuit:le contrat a un cout, appele la prime de l’option. Le but de ce cours est de comprendrecomment on peut la calculer. On parle d’evaluation ou de pricing de l’option.

Attention, ce contrat peut etre lui meme acheter ou vendu.

Definition 2.3.2 L’option Put est l’analogue en remplacant acheter par vendre.

On voit donc que l’on peut acheter ou vendre un call ou un put.

Le marche des options sur actions existe de facon organisee depuis 1973 (Creationa Chicago) aux Etas Unis et depuis 1987 a Paris (Creation du MONEP ou Marchedes Options Negociables de Paris). Le Monep a ete remplace par le Euronext-Li↵e.

Le caractere americain ou europeen de l’option n’a aucun rapport avec le pays. Parexemple toutes les options du Euronext-Li↵e sont americaines. Les options americainessont plus di�ciles a evaluer et nous nous limiterons le plus souvent aux options eu-ropeennes.

Appelons St le prix du sous jacent (Spot en anglais) a la date t. Soit T la dated’echeance et K le prix d’exercice. Le detenteur du Call europeen, a la date T a le

Page 20: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

20 Introduction a l’evaluation en finance, Vocabulaire et produits

choix d’acheter ou non le sous jacent, au prix K. Si ST > K, il achete donc K unproduit qui vaut ST , il recoit donc (eventuellement en revendant immediatement lesous jacent) le jour T ,

ST �K.

Par contre si ST K il ne fait rien et recoit donc dans ce cas

0.

On voit que de toute facon, il recoit

(ST �K)+

appele le Pay-o↵ du Call ou x+ = max(x, 0). Remarquons, que la valeur actualiseeaujourd’hui (a la date 0) au taux d’interet continu r, de cette somme est

e�rT (ST �K)+

De la meme facon, pour un Put europeen, le detenteur du Put recoit le jour T ,

(K � ST )+,

et la valeur actualisee este�rT (K � ST )

+.

Evidemment ces quantites sont inconnues a la date 0.Pour une option americaine exercee au temps ⌧ la valeur actualisee du Call est

e�r⌧ (S⌧ �K)+

et celle du pute�r⌧ (K � S⌧ )

+

le temps ⌧ ne peut etre choisi qu’en fonction de l’information jusqu’au temps ⌧ , doncen un sens a preciser, un temps d’arret inferieur a T .

Il existe de tres nombreuses variantes, appelees souvent options exotiques. Ellessont par exemple tres developpees dans les marches sur devises (FOREX). On pourraitaussi citer les options binaires ou digitales. Ce sont elles qui justifient la grande activitedes mathematiques financieres en ce moment. Pour les aborder, il faut d’abord biencomprendre les cas classiques.

2.4. Utilite versus AOA

Dans les approches classiques de la finance, on cherchait a optimiser un gain (uneesperance) en minimisant le risque (une variance). C’est l’approche par ”l’utilite”.Elle est basee sur la loi des grands nombres, qui ne s’applique pas pour les produitsderives car il n’a y’a pas beaucoup de produits independants.

La grande nouveaute du pricing des produits derives est de remplacer cette theoriepar la theorie de l’absence d’opportunite d’arbitrage (AOA) qui est fondamentalementdi↵erente. C’est celle ci que nous allons voir.

Page 21: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

2.5 Le modele d’evaluation de base le plus simple 21

2.5. Le modele d’evaluation de base le plus simple

Le principe fondamental de l’absence d’opportunite d’arbitrage (AOA) apparait tressimplement dans le cas caricatural d’un actif ne prenant que deux valeurs. C’est ceque nous allons expliquer dans cette courte section.

Le point essentiel a retenir tout de suite est qu’il n’y a pas de probabilite dansle modele et que l’on va en un sens se couvrir contre tous les risques possibles.

2.5.1. Le modele

On suppose que le marche financier ne comporte que deux actifs:

• Un placement sans risque de prix Bt a la date t (comme un livret d’epargne),

• Une action de prix St (le ”spot”),

et qu’il n’y a que 2 dates: la date 0, aujourd’hui et la date 1 (par exemple demain oudans 1 an).

Autrement dit t = 0 ou t = 1. Si r est le taux sans risque on peut supposer que,pour % = 1 + r,

B1

= %B0

Donc B1

est connu au temps 0.On suppose aussi que S0

, le prix de l’action aujourd’huiest connu mais que celui S

1

de l’action a la date 1, inconnu, ne peut prendre que 2valeurs (deux etats du monde, en langage financier) de rendement b ou de rendementh, autrement dit

S1

= bS0

, ou S1

= hS0

(le rendement etant par definition (S1

� S0

)/S0

). On considere une option d’achat(Call), de prix d’exercice K = kS

0

, avec l’hypothese naturelle (pourquoi ?) que

b k h.

2.6. Portefeuille de couverture

On cherche a dupliquer le gain de cette option a l’aide d’un portefeuille constitue departs des 2 actifs: Si on achete ↵ parts d’actions et � parts du placement sans risque,on investit a l’instant 0 la somme

V0

= ↵S0

+ �B0

.

Cette quantite se sera transformee en

V1

= ↵S1

+ �B1

Page 22: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

22 Introduction a l’evaluation en finance, Vocabulaire et produits

a l’instant 1. Si on investit la meme somme V0

dans l’achat d’une option Call, onobtiendra a l’instant 1 la somme

V1

= (S1

�K)+.

Le portefeuille duplique l’option (on dit qu’il couvre l’option) si il y a egalite, doncsi V

1

= V1

, soit↵S

1

+ �B1

= (S1

�K)+.

En fait il y a deux cas suivant que S1

= hS0

ou S1

= bS0

et donc on obtient 2equations

↵hS0

+ �B1

= (hS0

� kS0

)+ = hS0

� kS0

↵bS0

+ �B1

= (bS0

� kS0

)+ = 0.

On resoud: par di↵erence,

↵ =h� k

h� b

� = �↵bS0

B1

d’ou

V0

= ↵S0

+ �B0

= ↵S0

(1� bB0

B1

) =h� k

h� b(%� b

%)S

0

(noter que � < 0, il correspond donc a un emprunt). On a donc trouve le prixde l’option, et en meme temps le portefeuille le repliquant: Meme, si cela paraitextremement elementaire, il est essentiel de remarquer qu’il n’y a pas de probabilitedu tout; on est donc tres content car on est couvert contre tous les risques.

2.6.1. Interpretation probabiliste

Ces formules un peu compliquees peuvent s’interpreter intuitivement en imaginantqu’il existe un espace de probabilite (⌦,F ,P) et que S

1

est une v.a. telle que

P(S1

= hS0

) = p,P(S1

= bS0

) = q = 1� p

pour

p =%� b

h� b, q =

h� %

h� b.

Dans ce cas

E(S1

) = phS0

+ qbS0

=(%� b)h+ (h� %)b

(h� b)S0

= %S0

et

E((S1

�K)+) = p(hS0

�K) =%� b

h� b(h� k)S

0

= %V0

Page 23: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

2.6 Portefeuille de couverture 23

On voit donc que

S0

= E(S1

/%), V0

= E((S1

�K)+/%)

qui sont des formules tres intuitives puisque elles indiquent que S0

et V0

sont lesesperances des prix des produits a l’instant suivant, reactualises. Notons cependantque ces esperances se font suivant une probabilite qui n’est peut etre pas celle quiregit l’evolution du sous jacent.

2.6.2. Univers risque neutre

Le caractere specifique du Call n’a pas joue de role dans ce qui precede. On aura parexemple pour un Put

Prime du Put = E((K � S1

)+/%)

On voit donc qu’il existe un espace de probabilite (⌦,F ,P) pour lequel les prix ala fois du spot et de beaucoup d’autres produits se calculent par la formule

Prix Aujourd’hui = E(Prix Demain) actualisee.

On appellera cet espace un univers risque neutre. C’est une sorte de monde virtueldans lequel les prix se calculent facilement. Dans les cas plus generaux nous chercheronsa fabriquer un analogue.

Page 24: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

24 Introduction a l’evaluation en finance, Vocabulaire et produits

Page 25: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 3

Rappels et complementsd’analyse et de probabilite

3.1. Probabilites

Rappelons quelques resultats indispensables du calcul des probabilites.

3.1.1. Mesurabilite et variables aleatoires

Soit (⌦,F ,P) un espace de probabilite et (E, E) un ensemble muni d’une tribu. Unevariable aleatoire

X : ⌦! E

est, par definition, une application mesurable, c’est a dire que {X 2 A} 2 F pourtout A 2 E .

Lorsque E = R ou Rd on sous entend qu’on le munit de la tribu borelienne.

Definition 3.1.1 On appelle variable aleatoire positive etagee, toute v.a. X s’ecrivantX =

Pnk=1

ak1Ak ou ak � 0 et Ak 2 F .

Lemme 3.1.2 Toute v.a. X � 0 est limite croissante d’une suite de v.a. etagees.

Preuve: On a par exemple X = limn!+1Xn ou

Xn =n2nX

k=0

k

2n1{k2

nX<k+1}

Definition 3.1.3 Si {Xi, i 2 I} est une famille d’applications a valeurs dans Rd

definies sur ⌦, on note �(Xi, i 2 I) la tribu engendreee par cette famille. C’est a direla plus petite tribu de ⌦ contenant tous les ensembles {Xi 2 A}, ou i 2 I et A est unborelien de Rd.

Page 26: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

26 Rappels et complements d’analyse et de probabilite

En particulier, pour une application X : ⌦! Rd, �(X) est exactement la classe desensembles {X 2 A}, ou A est un borelien de Rd. De meme, la tribu engendree parun ensemble de parties est la plus petite tribu les contenant. Nous aurons l’occasiond’utiliser:

Lemme 3.1.4 Considerons une application X : ⌦ ! Rd. Alors une application Z :⌦ ! R est �(X)-mesurable si et seulement si il existe une application boreliennef : Rd ! R telle que Z = f(X).

Preuve: On ecrit

Z = limn!+1

+1X

k=�1

k

2n1[k2�n,(k+1)2

�n[

(Z).

Puisque Z est �(X)-mesurable, il existe un borelien An,k de Rd tel que

{Z 2 [k2�n, (k + 1)2�n[} = {X 2 An,k}

c’est a dire tel que1[k2�n,(k+1)2

�n[

(Z) = 1An,k(X)

On a alors Z = f(X) si

h(x) = lim infn!+1

+1X

k=�1

k

2n1An,k(x).

3.1.2. Classe monotone

L’outil sophistique pour traiter les tribus engendrees est le suivant:

Theoreme 3.1.5 (de la classe monotone) Soient C et M des ensembles de par-ties de ⌦ tels que C ⇢ M. On suppose que

(i) C est stable par intersection finie (i.e. A,B 2 C implique A \B 2 C).(ii) M est stable par di↵erence propre (i.e. A,B 2 M et A ⇢ B implique B \A 2

M).(iii) M est stable par limite croissante (i.e. An 2 M et An ⇢ An+1

implique[An 2 M).

(iv) ⌦ est dans M.Alors �(C) est contenu dans M.

3.1.3. Independance et esperance conditionnelle

Rappelons que des tribus F1

, · · · ,Fn sont independantes si

P(A1

\A2

· · · \An) = P(A1

)P(A2

) · · ·P (An)

pour tous A1

2 F1

, · · ·An 2 Fn. Des v.a. X1

, · · · , Xn sont independantes si les tribus�(X

1

), · · · ,�(Xn) le sont.

Page 27: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

3.2 Projection dans un Hilbert 27

Lemme 3.1.6 (Lemme de regroupement) Si �(X1

), · · · ,�(Xn) sont independanteset n

1

< n2

< nk, alors les v.a.

Zr = (Xnr , Xnr+1

, · · · , Xnr+1�1

)

sont independantes.

Preuve: La preuve utilise le theoreme de la classe monotone. ⇤Il resulte par exemple de ce lemme que si X

1

, X2

, X3

sont independantes, alorsX

1

+X2

est independant de cos(X3

). Deux v.a. X,Y sont independantes si

E(f(X)g(Y )) = E(f(X))E(g(Y ))

pour tout f, g mesurables positives.La proposition suivante est tres importante:

Proposition 3.1.7 Si X,Y sont deux variables aleatoires independantes, X a valeursdans (E

1

, E1

), et Y a valeurs dans (E2

, E2

), pour tout F : E1

⇥ E2

! R mesurablepositive,

E(F (X,Y )) =

Z

Z

F (X(!), Y (!0)) dP(!) dP(!0)

Preuve: Notons en general µZ la loi d’une v.a. Z : ⌦! (E, E), qui est la probabilitesur E definie par

µZ(A) = P(Z 2 A)

pour tout A de E . Dire que X et Y sont independantes est equivalent a dire que

µ(X,Y )

(A⇥B) = P(X 2 A, Y 2 B) = P(X 2 A)P(Y 2 B) = µX(A)µY (B),

c’est a dire exactement que µ(X,Y )

est egal a la mesure produit µX ⌦ µY . L’enoncedu lemme est donc une consequence du theoreme de Fubini. ⇤

3.2. Projection dans un Hilbert

Definition 3.2.1 Un espace de Hilbert est un espace vectoriel muni d’un produitscalaire qui est un espace de Banach (i.e. un espace norme complet) pour la normeassociee.

La propriete fondamentale d’un espace de Hilbert est qu’on peut y definir la projec-tion orthogonale sur un convexe ferme: rappelons d’abord quun convexe est un sousensemble C tel que, si x, y 2 C, �x+ (1� �)y 2 C, pour tout � tel qie 0 � 1.

Theoreme 3.2.2 Soit C un convexe ferme d’un espace de Hilbert H. Pour toutx 2 H, il existe un unique v 2 C, appele projection orthogonale de x sur C tel que

kx� vk = inf{kx� zk, z 2 C}.

Lorsque C est un sous espace vectoriel ferme, il est caracterise par les deux proprietes,(i) v 2 V ; (ii) pour tout w 2 C, hx� v, wi = 0.

Page 28: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

28 Rappels et complements d’analyse et de probabilite

Preuve: Posons D = inf{kx� vk, v 2 C}. Pour tout n 2 N, il existe vn 2 C tel que

kx� vnk2 D2 +1

n

Montrons que (vn) est une suite de Cauchy. Nous allons utiliser l’egalite suivante (ditedu parallelogramme), immediate a verifier en developpant (mais propre aux Hilberts)

ka� bk2 + ka+ bk2 = 2(kak2 + kbk2).

On a en prenant a = vn � x, b = vm � x

kvn � vmk2 + kvn + vm � 2xk2 = 2(kvn � xk2 + kvm � xk2)

que l’on ecrit

kvn � vmk2 = 2kvn � xk2 + 2kvm � xk2 � 4kvn + vm2

� xk2

On a kvn+vm2

� xk � D2 car (vn + vm)/2 2 C on en deduit que, si m � n,

kvn � vmk2 2(D2 +1

n) + 2(D2 +

1

m)� 4D2 2/n.

La suite vn est donc de Cauchy et on verifie que sa limite v est le point cherche.

Corollaire 3.2.3 Sur un espace de Hilbert H, pour toute forme lineaire continue fil existe z 2 H tel que f(x) = hx, zi pour tout x 2 H.

Preuve: Si f est identiquement nulle, prendre z = 0. Sinon, on appliquer le theoremeau sous espace V = f�1(0) et a un x 2 H tel que f(x) 6= 0: il existe z 2 V tel quef(y) = 0 entraine que hx � z, yi = 0. Posons w = x � z. Alors, pour tout y 2 H,

y � f(y)f(w)

w 2 V donc hy, wi = f(y)f(w)

hw,wi et f(y) = hy, vi pour v = f(w)

hw,wiw.

3.3. Theoreme de Radon Nikodym

Definition 3.3.1 Etant donne deux mesures µ et ⌫ sur (⌦,F) on dit que µ estabsolument continue par rapport a ⌫ si pour tout A 2 F , ⌫(A) = 0 entraine queµ(A) = 0, et que µ est equivalente a ⌫ si pour tout A 2 F , ⌫(A) = 0 si et seulementsi µ(A) = 0.

Definition 3.3.2 Soient µ et ⌫ deux mesures sur un espace (⌦,F) et f : ⌦ ! R+

mesurable. On dit que µ a la densite ' par rapport a µ si, pour tout A 2 F ,

µ(A) =

Z

A' d⌫.

On note souvent ' = dµd⌫ et on ecrit que dµ = ' d⌫.

Page 29: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

3.3 Theoreme de Radon Nikodym 29

Theoreme 3.3.3 (Radon Nikodym) On considere deux probabilites µ et ⌫ sur(⌦,F). Alors µ est absolument continue par rapport a ⌫ si et seulement si µ a unedensite par rapport a ⌫.

Preuve: Soit � = µ+ ⌫, pour tout f de L2(�), par Cauchy Schwartz,

|Z

fdµ| Z

|f |dµ Z

|f |d� (

Z|f |2d�)1/2(

Z1d�)1/2

On definit ainsi une forme lineaire sur le Hilbert H = L2(⌦,F ,�). C’est donne parun produit scalaire: il existe 2 H tel que pour tout f de L2(�)

Zfdµ = hf, iH =

Zf d�

donc Zf(1� )dµ =

Zf d⌫.

Prenons f = 1{ �1}, alors

0 �Z

1{ �1}(1� )dµ =

Z1{ �1} d⌫ � ⌫{ � 1}

Donc < 1, ⌫-p.s. et donc aussi µ-p.s. par absolue continuite. En prenant f = 1{ <0}on a

0 Z

1{ <0}(1� )dµ =

Z1{ <0} d⌫ 0

donc � 0, ⌫ et µ p.s. Pour tout n 2 N,Z

f(1� n+1)dµ =

Zf(1 + + · · ·+ n)(1� )dµ =

Zf(1 + + · · ·+ n) d⌫

Quand n ! +1, avec les 2 thm de LebesgueZ

fdµ =

Zf

1� d⌫

il su�t donc de poser dµd⌫ =

1� . ⇤

Rappelons qu’une mesure m sur (⌦,F) est dite �-finie si il existe une suite An

d’elements de F telle que [n2NAn = ⌦ et m(An) < 1.

Lemme 3.3.4 Une mesure �-finie est equivalente a une probabilite.

Preuve: Supposons que m est une mesure �-finie. On pose ↵n = 1

2

n(1+m(An))

et

f =X

n�0

↵n1An

Cette fonction est strictement positive et a :=Rf dm

Pn�0

2�n < 1. La mesure

m est equivalente a la probabilite 1

af dm.

On en deduit que:

Proposition 3.3.5 Le theoreme de Radon Nikodym est vrai pour les mesures �-finies

Page 30: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

30 Rappels et complements d’analyse et de probabilite

3.4. Esperance conditionnelle

Dans un espace (⌦,A,P) si F est une sous tribu de A, l’espace L2(⌦,F ,P) est un sousespace vectoriel ferme de L2(⌦,A,P). L’esperance conditionnelle de X 2 L2(⌦,A,P)sachant F est par definition la projection de X sur L2(⌦,F ,P). On montre que cettenotion s’etend aux v.a. positives et que :

Proposition 3.4.1 Soit X une v.a. positive, et G une sous tribu de F . L’esperanceconditionnelle E(X|G) est caracterisee comme l’unique (classe de) v.a. Z qui a lesdeux proprietes suivantes

(i) Z est G-mesurable.(ii) Pour tout ensemble G-mesurable A, E(1AZ) = E(1AX).

Soit X une v.a. telle que E(|X||G) < +1, p.s.. Alors Z = E(X+|G) � E(X�|G)est notee aussi Z = E(X|G).

Proposition 3.4.2 [Un resultat fondamental] Si X est G mesurable et Y est independantde G et � � 0, alors

E(�(X,Y )|G)(!) =Z�(X(!), Y (!0)) dP(!0)

ce que l’on peut ecrire aussi E(�(x, Y )) pour x = X(!).

Preuve: Par Fubini, on sait que l’application x 7! E(�(x, Y )) est mesurable. DoncZ(!) = E(�(X(!), Y )) est G-mesurable, puisque c’est une fonction mesurable de X,lui meme G-mesurable. Si A 2 G, les deux v.a. (1A, X) et Y sont independantes.Donc, en appliquant la proposition 3.1.7,

E(�(X,Y )1A)) =

Z

Z

�(X(!), Y (!0)1A(!) dP(!) dP(!0)

=

Z

[

Z

�(X(!), Y (!0)1A(!) dP(!0)] dP(!) = E(Z1A)

par Fubini. On a donc bien que Z = E(�(X,Y )|G) par la propriete caracteristiquerappelee au dessus. ⇤

3.4.1. Un theoreme de Bayes

On se donne un espace (⌦,F) muni de deux probabilites P et Q et G une sous tribude F .

Proposition 3.4.3 On suppose que dQ = Z dP. Alors, en notant E l’esperance parrapport a P et EQ l’esperance par rapport a Q. Pour toute v.a. Y � 0,

EQ(Y |G) = E(Y Z|G)E(Z|G) .

Page 31: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

3.4 Esperance conditionnelle 31

Preuve: La fonction X = E(Y Z|G)E(Z|G) est G-mesurable et, pour toute v.a. G-mesurable

bornee UEQ(XU) = E(XUZ) = E(XUE(Z|G))

= E(E(Y Z|G)U) = E(Y ZU) = EQ(Y U)

Page 32: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

32 Rappels et complements d’analyse et de probabilite

Page 33: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 4

Calcul stochastique a tempsdiscret

4.1. Filtration

Une filtration {Fn, n � 0} sur un espace ⌦ est une suite de tribus sur ⌦ telles queFn ⇢ Fn+1

, pour tout n � 0. Pour nous, n representera le temps, et Fn l’informationque l’on possede au temps n. Eventuellement on notera F1 = �(Fn, n � 0).

Une suite Xn, n � 0, est dite adaptee a la filtration {Fn, n � 0} si Xn est Fn-mesurable. Elle est dite previsible si Xn est Fn�1

-mesurable pour n > 0.

Un temps d’arret de la filtration {Fn, n � 0} est une application ⌧ : ⌦! N[{+1}telle que ⌧ n 2 Fn, pour tout n � 0.

La tribu F⌧ = {A;A \ {⌧ n} 2 Fn} est appelee la tribu des evenementsanterieurs a ⌧ .

Lemme 4.1.1 Si ⌧ est un temps d’arret, pour toute v.a. X � 0,

E(X|F⌧ )1{⌧=n} = E(X|Fn)1{⌧=n}.

Preuve: Il nous faut montrer, puisque {⌧ = n} 2 F⌧ que

E(1{⌧=n}X|F⌧ ) = 1{⌧=n}E(X|Fn).

On utilise la propriete caracteristique de l’esperance conditionnelle ??: la v.a. Z =1{⌧=n}E(X|Fn) est F⌧ -mesurable et pour toute v.a. U positive, F⌧ -mesurable, puisqueU1{⌧=n} est Fn-mesurable,

E(UZ) = E(U1{⌧=n}E(X|Fn)) = E(U1{⌧=n}X)

donc Z = E(1{⌧=n}X|F⌧ ).

Page 34: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

34 Calcul stochastique a temps discret

4.2. Martingales

On considere (⌦, (Fn),P) un espace de probabilite filtre.

Definition 4.2.1 Une famille Mnn 2 N, est une martingale si Mn 2 L1, (Mn) estadapte et

E(Mn|Fn�1

) = Mn�1

, pour tout n � 1.

Si on seulement E(Mn|Fn�1

) � Mn�1

, on dit que M est une sous martingale.

Si M est une (ss)-martingale sur (⌦, (Fn),P), ca l’est aussi pour la filtrationnaturelle F0

n = �(Mk, k n). Si on dit que M est une martingale sans faire referencea une tribu on sous entend que c’est une martingale pour (F0

n).

Exemple fondamental: Soit X 2 L1. On pose Xn = E(X|Fn). On a, pour s < t,

E(Xn|Fn�1

) = E(E(X|Fn)|Fn�1

) = E(X|Fn�1

) = Xn�1

et Xn est une martingale.

Proposition 4.2.2 Soit X1

, X2

, · · · des variables aleatoires independantes dans L1

telles que E(Xn) = 0, pour tout n � 0. Alors Mn = X1

+ · · ·+Xn est une martingale.Si les Xn sont dans L2, M2

n �Pn

k=1

E(X2

k) est une martingale.

Preuve: Facile

Proposition 4.2.3 Si Mn une martingale, |Mn|, est une sous martingale.

Preuve: On a E(|Mn||Fn�1

) � |E(Mn|Fn�1

)| = |Mn�1

|.

4.3. L’integrale stochastique discrete

Donnons nous un espace probabilise muni d’une filtration (⌦, (Fn)n,P). Si Xn et Mn

sont deux suites relles, on pose, (X ?M)0

= 0 et pour n � 1,

�Mn = Mn �Mn�1

et

(X ?M)n =nX

k=1

Xk�Mk.

Definition 4.3.1 X ?M est l’integrale de X par rapport a M .

Lemme 4.3.2 Pour toutes suites (Xn), (Yn), (Mn) on a �(X ?M) = X�M et

X ? (Y ?M) = XY ?M.

Page 35: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

4.3 L’integrale stochastique discrete 35

Une interpretation utile de l’integrale est la suivante: si �Mn est le resultat d’uneexperience aleatoire representant le gain d’un joueur au temps n qui aurait mise 1eautemps n, alors: (X ?M)n est le gain total obtenu apres n parties, lorsque le joueurmise Xn au temps n (par exemple pour Xn = 2n ceci revient a doubler sa mise achaque fois). Dans ce contexte, le theoreme suivant est eclairant:

Theoreme 4.3.3 Si M est une martingale et X un processus previsible tel queX�M 2 L1, alors X ? M est une martingale. Si M est une sous martingale etX positif alors X ?M est une sous martingale

Preuve: Si M est une martingale, Il su�t de remarquer que

E(�(X ?M)n|Fn�1

) = E(Xn�Mn|Fn�1

) = XnE(�Mn|Fn�1

) = 0.

le cas sous martingale est similaire. ⇤Etant donne un processus (Mn) et ⌧ : ⌦! N[{+1} on appelle processus arrete

en ⌧ le processus M ⌧ defini par

M ⌧n = M⌧^n,

ou ⌧ ^ n = min(⌧, n).

Theoreme 4.3.4 (Theoreme d’arret) Si M est une sous martingale (resp. mar-tingale) et M un temps d’arret, alors M ⌧ est une sous martingale (resp. martingale).

Preuve: PrenonsXn = 1{n⌧} ou ⌧ : ⌦! N[{+1} (qui correspond a la strategie=miser1 jusqu’au temps ⌧). Alors X est previsible si et seulement si ⌧ est un temps d’arret.De plus dans ce cas

X ?M = M ⌧

Il su�t donc d’appliquer le theoreme precedent.

Corollaire 4.3.5 Soient {Mn, n 2 N} une (sous) martingale, � et ⌧ deux tempsd’arret. On suppose que � est borne. Alors

E(M�| F⌧ ) � M�^⌧

avec egalite dans le cas d’une martingale

Preuve: Si � est borne par la constante r > 0, puisque M� est une sous martingale,on peut ecrire que, sur {⌧ = n},

E(M�| F⌧ ) = E(M�r | Fn) � M�

r^n = M�^⌧

Page 36: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

36 Calcul stochastique a temps discret

4.4. Un theoreme de Doob

Theoreme 4.4.1 Soit Mn, n 2 N, une sous-martingale positive. Pour tout a > 0,

aP( max0kn

Mk � a) E(Mn1{max0kn Mk�a}).

De plus

P( max0kn

Mk � a) E(Mn)

a

etE( max

0knM2

k ) 4E(M2

n).

Preuve: Soit ⌧ = inf{k � 0;Mk � a}. On a {max0knMk � a} = {⌧ n} et

E(Mn1{⌧n}) = E(E(Mn|F⌧ )1{⌧n}) � E(Mn^⌧1{⌧n})

= E(M⌧1{⌧n}) � aP(⌧ n)

ce qui donne la premiere inegalite. La suivante en decoule immediatement. Ensuite,ecrivons que

Z 1

0

aP( max0kn

Mk � a) da Z 1

0

E(Mn; max0kn

Mk � a) da

Avec Fubini ceci s’ecrit, si on pose S = max0knMk

E(Z

max0kn Mk

0

a da) E(Mn

Zmax0kn Mk

0

da)

donc1

2E(( max

0knMk)

2) E(Mn max0kn

Mk)

En appliquant Cauchy Schwarz on obtient

1

2E(( max

0knMk)

2) E(M2

n)1/2E(( max

0knMk)

2)1/2

ce qui donne le resultat, puisque M etant positive, max0knM2

k = (max0knMk)2.

Corollaire 4.4.2 Si (Mn) est une martingale,

P( max0kn

|Mk| � a) 1

aE(|Mn|)

Page 37: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

4.5 Martingale continue a droite 37

Preuve: On applique ce qui precede a la sous martingale positive |Mn|.

Remarquons l’analogie avec l’inegalite de Markov:

Proposition 4.4.3 (Inegalite de Markov) Pour toute v.a. positive X et a > 0,

P(X � a) E(X)

a.

qui s’obtient immediatement en remarquant que 1{X�a} X/a.

Corollaire 4.4.4 (Inegalite de Doob) Si Mn, n 2 N, est une martingale

E( max0kn

M2

k ) 4E(M2

n).

Preuve: On applique le theoreme precedent a la sous martingale |Mn|.

4.5. Martingale continue a droite

Si Mt, t 2 R+, est un processus a trajectoires continues a droite, on a

sup0tT

Mt = limn!+1

sup0k2

nM kT

2n.

En appliquant le Theoreme 4.4.4 a la sous martingale Xk = M kT2n

et l’egalite

{ sup0tT

Mt > a} = [n2N{ sup0k2

nM kT

2n> a}

on obtient immediatement:

Theoreme 4.5.1 (Inegalites de Doob) Soit Mt, t 2 R+, une sous-martingale con-tinue a droite positive. Pour tout a > 0,

aP( sup0tT

Mt � a) E(MT1{sup0tT Mt�a}) E(MT )

De plusE( sup

0tTM2

t ) 4E(M2

T ).

Puisque la valeur absolue d’une martingale est une sous martingale, on en deduit lecorollaire absolument fondamental pour la suite:

Corollaire 4.5.2 Si M est une martingale continue a droite

E( sup0tT

M2

t ) 4E(M2

T ).

Page 38: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

38 Calcul stochastique a temps discret

Deduisons un convergence de theoreme de martingales (il en existe d’autres, parexemple pour les martingales positives).

Theoreme 4.5.3 Une martingale continue a droite (Mt) telle que

supt�0

E(M2

t ) < +1

converge p.s. et dans L2 lorsque t ! +1.

Preuve: Puisque M2

t est une sous martingale, E(M2

t ) est une fonction croissante.Par hypothese, elle est bornee. Donc elle converge lorsque t ! +1. On en deduitque, pour tout " > 0, il existe N tel que, si s, t � N

E((Mt �Ms)2) = E(M2

t )� E(M2

s ) < "

lorsque s, t ! +1. La suite Mn est donc de Cauchy dans L2, elle converge vers unev.a. M1. En faisant tendre t ! +1 suivant les entiers on voit, par Fatou, que

E((M1 �Ms)2) < "

donc Ms ! M1 dans L2. Si on applique l’inegalite de Doob a la martingale Nt =Ms+t �Ms on obtient

E(suptT

(Mt+s �Ms)2) 4E((MT+s �Ms)

2) 4"

pour tout T � 0, doncE(sup

t�0

(Mt+s �Ms)2) 4".

Il en resulte en ecrivant que

(Mt+s �M1)2 2(Mt+s �Ms)2 + 2(Ms �M1)2

queE(sup

t�0

(Mt+s �M1)2) 16".

Il existe donc une sous suite ni telle que, p.s., supt�0

(Mt+ni � M1) ! 0, ce quientraine que Mt ! M1, p.s. ⇤

On aurait aussi l’analogue du theoreme d’arret, que nous ne demontrons pas:

Corollaire 4.5.4 Soient {Mt, n 2 N} une (sous) martingale continue a droite � et⌧ deux temps d’arret. On suppose que � est borne. Alors

E(M�| F⌧ ) � M�^⌧

Page 39: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

4.6 Martingale locale 39

4.6. Martingale locale

Revenons au cas du temps discret. Attention qu’en temps continu la situation seraplus compliquee. On fixe un espace de probabilite filtre (⌦,Fn, n 2 N,P).

Definition 4.6.1 1. Une martingale generalisee est une suite adaptee Mn telle queE(|Mn||Fn�1

) < +1 et E(Mn|Fn�1

) = Mn�1

.

2. Un processus adapte M est une martingale locale si il existe une suite ⌧n crois-sante de temps d’arret tels que M ⌧n � M

0

soit pour chaque n une martingale et⌧n ! +1, p.s.

Theoreme 4.6.2 On considere un processus adapte a temps discret {Mn, n � 0}.Les conditions suivantes sont equivalentes:

a) M est une martingale locale,

b) M est une martingale generalisee,

c) M�M0

est une integrale stochastique par rapport a une martingale, i.e. M = X?Vpour une martingale V et un processus previsible X, fini p.s.

d) M � M0

est une integrale stochastique par rapport a une martingale locale, i.e.M = X ? V pour une martingale locale V et un processus previsible X fini p.s.

Preuve: Remarquons que Mn est un martingale generalisee ssi Mn �M0

l’est. Sansperte de generalite, on peut supposer que M

0

= 0 pour montrer le theoreme.a =) b: Sur {⌧k > n} 2 Fn, M ⌧k etant une martingale,

E(|Mn+1

||Fn) = E(|M ⌧kn+1

||Fn) < +1

etE(Mn+1

|Fn) = E(M ⌧kn+1

|Fn) = Mn,

puisque, p.s., ⌦ = [k2N{⌧k > n} on en deduit que M est une martingale generalisee.b =) c: Si M est une martingale generalisee, posons

Akn = {E(|�Mn||Fn�1

) k}

AlorsUn =

X

k�0

2�k1Akn

est strictement positif p.s. et previsible. On verifie que V = U ?M est une martingale:en ecrivant que �Vn = Un�Mn on a

E(|�Vn|) = E(E(Un|�Mn||Fn�1

) = E(UnE(|�Mn||Fn�1

))

Page 40: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

40 Calcul stochastique a temps discret

X

k�0

2�kE(1AknE(|�Mn||Fn�1

)) X

k�0

2�kk < +1

et,E(�Vn|Fn�1

) == E(UnE(�Mn|Fn�1

)) = 0

car E(�Mn|Fn�1

) = 0. Puisque

M =1

U? (U ?M)

on a bien la representation avec X = 1/U .c =) a: Si M = X ? V ou V est une martingale, posons

⌧k = inf{n � 0; |Xn+1

| > k};

c’est une suite de temps d’arret croissante vers +1 car X est previsible. On a

M ⌧kn =

nX

r=1

1{r⌧k}Xr�Vr

qui est une martingale.c =) d est evident,d =) a: Si M = X ? V pour une martingale locale V , par c) applique a V ,

il existe une martingale W et un processus previsible Z tels que V = Z ?W . AlorsM = X ? (Z ?W ) = (XZ)?W , donc M est une martingale locale (puisque c =) a).

Lemme 4.6.3 Soit Mn, 0 n N , une martingale locale. Si MN est integrable,alors Mn, 0 n N , est une martingale.

Preuve: On a MN�1

= E(MN |FN�1

) puisque Mn est une martingale generalisee.Donc

E(|MN�1

|) E(E(|MN ||FN�1

)) = E(|MN |) < +1

par recurrence chaque Mn est integrable, ce qui montre que c’est une martingale.

Proposition 4.6.4 Soit Mn, 0 n N , une martingale locale positive. Alors, pourtout n � p 2 N,

E(Mn|Fp) = Mp < +1.

C’est une martingale si et seulement si M0

est integrable.

Preuve: Mn est une martingale generalisee. Si Mn � 0,

E(Mn|Fn�2

) = E(E(Mn|Fn�1

)|Fn�2

) = E(Mn�1

|Fn�2

) = Mn�2

etc...

Page 41: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

4.6 Martingale locale 41

Il faut faire attention au fait suivant: pour une martingale generalisee il se peutque E(|Mn||Fn�k) = +1 pour k > 1 et donc E(Mn|Fn�k) peut ne pas etre egal aMn�k. A cause de cette remarque la notion de martingale locale sera beaucoup plusdelicate en temps continu.

Exemple: Prenons F0

= {;,⌦},F1

= �(X),F2

= �(X,Y ), ou X et Y sontindependantes avec Y 2 L1,E(Y ) = 0 et X � 0 fini, tel que E(X) = +1. Alorsla suite M

0

= 0,M1

= 0,M2

= XY est une martingale locale car

E(|XY ||F1

) = |X|E(|Y ||F1

) = |X|E(|Y |) < +1

etE(XY |F

1

) = XE(Y |F1

) = XE(Y ) = 0

alors que E(|XY ||F0

) = E(|XY |) = E(|X|)E(|Y |) = +1.

Page 42: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

42 Calcul stochastique a temps discret

Page 43: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 5

Controle stochastique a horizonfini

Le but de ce chapitre est de presenter l’algorithme clef du controle stochastique a hori-zon fini en temps discret: l’algorithme de la programmation dynamique. Nous com-mencerons par presenter le cadre du controle des systemes deterministes et stochas-tiques. Ensuite nous decrirons cet algorithme. Enfin nous presenterons un certainnombre d’exemples.

5.1. Systemes dynamiques a temps discret

5.1.1. Systeme dynamique controle deterministe

On considere un “systeme” evoluant avec le temps, le temps etant discret, representepar un entier n = 0, 1, · · · . Son etat a l’instant n est represente par un element xn d’unespace E. On dit que ce systeme est regi par un systeme dynamique (deterministe)si il existe pour tout entier n 2 N une fonction fn : E ! E telle que

xn+1

= fn(xn).

La connaissance de l’etat a un instant su�t pour decrire son evolution future. Parexemple, on peut modeliser ainsi un systeme mecanique simple et son etat peut etrele vecteur position-vitesse.

Imaginons maintenant que l’on peut a chaque instant agir sur ce systeme. L’evo-lution se decrit alors par

xn+1

= fn(xn, un)

ou un, a valeurs dans un ensemble C, est un parametre de controle que l’on peutchoisir, a l’instant n, pour modifier l’evolution du systeme. On dit que l’on a unsysteme dynamique deterministe controle. Par exemple, si xn represente l’etat d’unefusee, un peut etre la quantite de carburant que l’on injecte dans le moteur a l’instantn. On parle aussi de commande a la place de controle.

Page 44: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

44 Controle stochastique a horizon fini

5.1.2. Systeme dynamique aleatoire

Considerons maintenant un systeme soumis a des perturbations aleatoires {"n, n 2 N}definies sur un espace de probabilite (⌦,F ,P) a valeurs dans un ensemble W , munid’une tribu W. Commencons par considerer un systeme dynamique non controle. Acause des perturbations aleatoires, l’etat est une variable aleatoire que l’on noteraXn, a valeurs dans E muni d’une tribu E . L’equation d’evolution est de la forme

Xn+1

= 'n(Xn, "n), 8n 2 N (5.1)

ou 'n : E⇥W ! E est mesurable. Supposons que les variables aleatoires {"n, n 2 N}sont independantes et de meme loi µ et independantes de l’etat initial X

0

, on dit alorsque l’on a un systeme dynamique aleatoire. Posons, pour x 2 E et A 2 E ,

Pn(x,A) = P('n(x, "n) 2 A) = µ{w 2 W ;'n(x,w) 2 A}.

Definition 5.1.1 On appelle probabilite de transition ou noyau de transition sur(E, E) une famille

P (x,A), x 2 E,A 2 E ,

telle que• Pour tout x 2 E, A 7! P (x,A) est une probabilite sur (E, E).• Pour tout A 2 E, x 7! P (x,A) est mesurable.

On voit donc que chaque Pn defini plus haut est une probabilite de transition.

Definition 5.1.2 Etant donne une suite (Pn) de probabilites de transition sur (E, E),une suite de variables aleatoires Xn, n � 0, a valeurs dans E est appelee chaıne deMarkov inhomogene si pour tout A 2 E et n 2 N,

E(1A(Xn+1

)|�(X0

, · · ·Xn)) = Pn(Xn, A).

Si Pn ne depend pas de n on dit que Xn est une chaıne de Markov.

Lorsque Xn est une chaine de noyau Pn on notera

E(1A(Xn+1

)|Xn = x) = Pn(x,A),

meme si P(Xn = x) = 0. C’est donc seulement une notation.

Proposition 5.1.3 La suite {Xn, n 2 N} definie par (5.1) est une chaıne de Markovinhomogene de probabilites de transition (Pn).

Preuve: Remarquons par recurrence que Xn est une fonction de X0

, "0

, · · · , "n�1

.C’est clair pour n = 0 et si Xn = fn(X0

, "0

, · · · , "n�1

) alors

Xn+1

= �n(Xn, "n) = �n(fn(X0

, "0

, · · · , "n�1

), "n).

Page 45: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.1 Systemes dynamiques a temps discret 45

On en deduit que "n est independant de �(X0

, · · · , Xn). Comme Xn est trivialementmesurable par rapport a cette tribu, on peut appliquer le resultat fondamental surl’esperance conditionnelle (Proposition 3.4.2), pour ecrire que

E(1A(Xn+1

)|�(X0

, · · ·Xn))(!) = E(1A(�n(Xn, "n))|�(X0

, · · ·Xn))(!) =

= E(1A(�n(Xn(!), "n)) = Pn(Xn(!), A). ⇤En fait, on peut montrer que la reciproque de cette proposition est aussi vraie...

Mais nous ne l’utiliserons pas. L’avantage de la formulation avec les chaines deMarkov est que l’on n’a pas besoin de definir les "n, ce qui peut simplifier la phasede modelisation.

Introduisons l’importante notation suivante: si P est une probabilite de transitionsur E et f : E ! R+ est mesurable on pose, pour x 2 E,

Pf(x) =

Z

Ef(y)P (x, dy).

Proposition 5.1.4 Si Xn est une chaıne de Markov inhomogene de noyaux(Pn), pour f : E ! R+ mesurable,si pour tout A 2 E et n 2 N,

E(f(Xn+1

)|�(X0

, · · ·Xn)) = Pnf(Xn).

Preuve: Lorsque f = 1A c’est la definition. Par linearite, ceci reste vrai pour unefonction etagee f =

Pnk=1

ak1Ak , puis en utilisant le theoreme de Lebesgue monotone,pour toute fonction mesurable positive (car elle est limite croissante d’une suite defonctions etagees)

La encore, on notera

E(f(Xn+1

)|Xn = x) = Pnf(x),

meme si P(Xn = x) = 0.

5.1.3. Systeme dynamique controle aleatoire

Considerons maintenant le cas d’un systeme dynamique controle perturbe par la suite("n). On a alors, pour tout n 2 N

Xn+1

= 'n(Xn, Un, "n), 8n 2 N

ou'n : E ⇥ C ⇥W ! E

et ou Un est un controle eventuellement aleatoire, a valeurs dans un ensemble C munid’une tribu C et �n est mesurable. Interpretant l’indice n comme un indice de temps,nous demandons que Un soit une fonction mesurable de (X

0

, · · · , Xn), autrement ditle choix de Un se fait au plus tard a l’instant n et sans connaitre le futur.

Page 46: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

46 Controle stochastique a horizon fini

Definition 5.1.5 On dit que {Un, n 2 N} est une suite de controles si, pour toutn � 0, Un est �(X

0

, · · · , Xn)-mesurable, ou, ce qui est equivalent, si il existe unesuite d’applications mesurables ⌫n : En+1 ! C telles que

Un = ⌫n(X0

, · · · , Xn).

La suite d’applications ⌫ = {⌫n, n � 0}, s’appelle une strategie ou une politique(mot ”franglais” de l’anglais policy).

Resumons: On a acces a l’instant n a l’etat Xn. En fonction de cet etat, et desprecedents, on peut prendre le controle Un, ce qui va nous aider a realiser un but.Par contre "n, lui, n’est pas Xn -mesurable: on ne le connait pas a l’instant n, etc’est une perturbation qui va plutot nous gener. Comme dans le cas d’un systemealeatoire, on va avoir interet a se donner un cadre abstrait pour decrire cette situation.Commencons par un calcul.

Proposition 5.1.6 Posons P (u)n (x,A) = P(�n(x, u, "n) 2 A), pour x 2 E, u 2

C,A 2 E et n � 0. Alors

E(1A(Xn+1

)|�(X0

, · · ·Xn)) = P (Un)n (Xn, A).

Preuve: La preuve est similaire a celle de la Proposition 5.1.3: par recurrence (Xn, Un)est �(X

0

, "0

, · · · , "n�1

)–mesurable. Donc (Xn, Un) est �(X0

, · · · , Xn)-mesurable alorsque "n est independant de cette tribu. On peut appliquer la Proposition 3.4.2 pourecrire que

E(1A(Xn+1

)|�(X0

, · · ·Xn))(!) = E(1A(�n(Xn, Un, "n))|�(X0

, · · ·Xn))(!) =

= E(1A(�n(Xn(!), Un(!), "n)) = PUn(!)n (Xn(!), A). ⇤

Ceci nous amene a un cadre general:

Definition 5.1.7 On appelle modele markovien controle une famille

P (u)n (x,A), n 2 N, u 2 C, x 2 E,A 2 E

de probabilites de transition sur E telle que pour A 2 E, (x, u) 7! P (u)n (x,A) est

mesurable.

Lorsque P (u)n (x,A) ne depend pas de n et on le notera simplement P (u)(x,A).

Etant donne un modele markovien controle, on associe a toute strategie ⌫ = (⌫0

, ⌫1

, · · · )un processus Xn de la facon suivante: X

0

est arbitraire. Conditionnellement a

(X0

, · · · , Xn),

la v.a.Xn+1

suit la loi P (Un)(Xn, .), ou Un = ⌫n(X0

, · · · , Xn), ce qui signifie precisementque

E (1A(Xn+1

)/�(X0

, · · · , Xn)) = P (Un)n (Xn, A). (5.2)

Page 47: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.1 Systemes dynamiques a temps discret 47

pour tout A de E . Ceci est bien defini car Un ne depend que de X0

, · · · , Xn. Onnotera P⌫x la loi de ce processus lorsque X

0

= x avec probabilite 1, pour mettre enevidence la dependance par rapport a la strategie (⌫). On utilisera la notation E⌫xpour l’esperance. Exactement comme dans la proposition 5.1.4, on a

Lemme 5.1.8 Pour toute fonction f : E ! R mesurable et positive ou bornee,

E⌫x (f(Xn+1

)|�(X0

, · · · , Xn)) = P (Un)n f(Xn).

Ces proprietes definissent completement la loi du processus Xn, comme le montrela proposition suivante.

Proposition 5.1.9 Si � : En ! R+ est mesurable

E⌫x0(�(X

1

, X2

, · · · , Xn)) =

Z

E

Z

E· · ·Z

E�(x

1

, · · · , xn)P ⌫0(x0)

0

(x0

, dx1

)P ⌫1(x0,x1)

1

(x1

, dx2

) · · ·P ⌫n�1(x0,··· ,xn�1)

n�1

(xn�1

, dxn).

Preuve: Par recurrence sur n. Par le theoreme de la classe monotone il su�t demontrer ce resultat lorsque � est une fonction produit c’est a dire du type

�(X1

, X2

, · · · , Xn) = f1

(X1

) · · · fn(Xn).

On sait (cf Lemme 5.1.8) que

E⌫x(fn(Xn)|�(X0

, · · · , Xn�1

)) = P (Un�1)

n�1

fn(Xn�1

).

On a donc

E⌫x(�(X1

, X2

, · · · , Xn)) = E⌫x [E⌫x(f1(X1

) · · · fn(Xn)|�(X0

, · · · , Xn�1

))]

= E⌫x [f1(X1

) · · · fn�1

(Xn�1

)E⌫x(fn(Xn)|�(X0

, · · · , Xn�1

))]

= E⌫xhf1

(X1

) · · · fn�1

(Xn�1

)P (Un�1)

n�1

fn(Xn�1

)i

Supposons donc que la proposition soit vraie au rang n � 1 et appliquons la a lafonction

g(x1

, · · · , xn�1

) = f1

(x1

) · · · fn�1

(xn�1

)P ⌫n�1(x0,x1,··· ,xn�1)

n�1

fn(xn�1

).

On obtientE⌫x(�(X1

, · · · , Xn�1

, Xn)) =Z· · ·Z

f1

(x1

) · · · fn�1

(xn�1

)P un�1(x0,x1,··· ,xn�1)

n�1

fn(xn�1

)P u0(x0)

0

(x0

, dx1

)P u1(x0,x1)

1

(x1

, dx2

) · · ·

· · ·P un�1(x0,··· ,xn�2)

n�1

(xn�2

, dxn�1

)

Page 48: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

48 Controle stochastique a horizon fini

donc ce que l’on cherche puisque

P un�1(x0,x1,··· ,xn�1)

n�1

fn(xn�1

) =

Zfn(xn)P

un�1(x0,x1,··· ,xn�1)

n�1

(xn�1

, dxn). ⇤

Si E est denombrable, pour tout noyau de transition P , on pose pour x, y 2 E,

P (x, y) = P (x, {y}).

La proposition precedente se simplifie dans ce cas:

Lemme 5.1.10 Si E est denombrable,

P(⌫)x (X

0

= x,X1

= x1

, · · · , Xn = xn) = P (u0)

0

(x, x1

)P (u1)

1

(x1

, x2

) · · ·P (un�1)

n�1

(xn�1

, xn),

ou u0

, u1

, · · · sont les valeurs de U0

, U1

, · · · lorsque X0

= x,X1

= x1

, · · · .

5.1.4. Strategies markoviennes

Par definition une suite de controle (Un) est telle que chaque Un est une fonctionde X

0

, · · · , Xn. Nous allons voir qu’on peut le plus souvent se restreindre au cas ou,pour tout n, Un ne depend en fait que de Xn seulement, c’est a dire s’ecrit sous laforme

Un = ⌫n(Xn)

ou ⌫n : E ! C. On parle parfois de controle en feedback (ou closed loop) pour insistersur le fait qu’il depend de l’etat.

Definition 5.1.11 On appelle strategie markovienne une telle suite d’applications⌫n : E ! C. Si ⌫n ne depend pas de n on l’appelle strategie stationnaire.

Proposition 5.1.12 Si le controle (Un) est defini par la strategie markovienne (⌫n)(c’est a dire Un = ⌫n(Xn)) alors Xn est une chaıne de Markov inhomogene de prob-abilites de transition

Pn(x,A) = P (⌫n(x))n (x,A)

Si ni ⌫n, ni P(u)n (x,A) ne dependent de n alors Xn est une chaıne de Markov.

Notation: Si ⌫ : E ! C est une application on posera

P ⌫n (x,A) = P (⌫(x))

n (x,A).

Page 49: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.2 Programmation dynamique 49

5.2. Programmation dynamique

Considerons un modele markovien controle. Un entier N etant fixe, appele parfoishorizon, on cherche a choisir une suite de controles U

0

, · · · , UN�1

de facon a minimiserun cout. Ce cout est choisi de la forme

E(N�1X

k=0

ck(Xk, Uk) + �(XN ))

ou ck : E⇥C ! R[{+1}, � : E ! R[{+1} (voir les exemples ensuite). Nous allonsvoir que cette question admet une reponse sous la forme d’un algorithme tres facile aimplanter sur ordinateur (par contre il est en general di�cile et de toute facon souventinutile d’obtenir une solution “explicite”). Ceci a ete montre par Bellman dans lesannees 50. Cet algorithme a divers noms: programmation dynamique, algorithme derecurrence retrograde (ou backward), principe d’optimalite... On pose

J(x) = min⌫

E⌫x(N�1X

k=0

ck(Xk, Uk) + �(XN )),

le minimum etant pris sur toutes les strategies ⌫ = (⌫0

, · · · , ⌫N�1

).

Theoreme 5.2.1 (Programmation dynamique) Posons JN (x) = �(x), puis suc-cessivement pour n = N � 1, N � 2, · · · , 1, 0,

Jn(x) = minu2C

{cn(x, u) + P (u)n Jn+1

(x)}.

On suppose que tout est integrable et que le minimum sur u est atteint en u = ⌫n(x).Alors J

0

(x) = J(x) et Un = ⌫n(Xn), n = 0, · · · , N � 1, est la strategie optimalecorrespondante.

Preuve: Considerons une strategie arbitraire ⌫. Nous allons utiliser l’egalite, pourtout n < N ,

E⌫x(Jn(Xn)� Jn+1

(Xn+1

)/�(X0

, · · · , Xn)) = Jn(Xn)� P (Un)n Jn+1

(Xn).

Ecrivons (somme telescopique)

J0

(X0

) =N�1X

n=0

(Jn(Xn)� Jn+1

(Xn+1

)) + JN (XN )

Page 50: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

50 Controle stochastique a horizon fini

En utilisant que l’esperance est l’esperance de l’esperance conditionnelle, et le faitque J

0

(x) = E⌫x(J0(X0

)), on en deduit que:

J0

(x) = E⌫x[N�1X

n=0

(Jn(Xn)� Jn+1

(Xn+1

)) + JN (XN )]

=N�1X

n=0

E⌫x[E⌫x[(Jn(Xn)� Jn+1

(Xn+1

))/�(X0

, · · · , Xn)]] + E⌫x[JN (XN )]

=N�1X

n=0

E⌫x[Jn(Xn)� P (Un)n Jn+1

(Xn)] + E⌫x[�(XN )]

E⌫x[N�1X

n=0

cn(Xn, Un)) + �(XN )].

car Jn(x)�P (u)n Jn+1

(x) cn(x, u). On a egalite si Un = ⌫n(Xn), pour n = 0, · · · , N�1. Ceci prouve le theoreme.

On interprete cet algorithme en disant qu’a l’instant n, je minimise la somme demon cout a cet instant et de ce que je peux savoir a cet instant de mon cout futur.On montrerait de la meme facon que, pour tout z 2 E,

Jn(x) = min⌫

E⌫z(N�1X

k=n

ck(Xk, Uk) + �(XN )|Xn = x)

Remarquons que le controle optimal est une strategie markovienne (Un ne dependque de l’etat Xn). En appliquant la formule max{xi, i 2 I} = �min{�xi, i 2 I} ouen changeant partout min par max dans ce qui precede on a immediatement:

Theoreme 5.2.2 (Programmation dynamique pour le max) Posons JN (x) =�(x), puis successivement pour n = N � 1, N � 2, · · · , 1, 0,

Jn(x) = maxu2C

{cn(x, u) + P (u)n Jn+1

(x)}.

On suppose que tout est integrable et que le maximum sur u est atteint en ⌫n(x).Alors

J0

(x) = max⌫

E⌫x(N�1X

k=0

ck(Xk, Uk) + �(XN )),

et Un = ⌫n(Xn), n = 0, · · · , N � 1, est la strategie optimale correspondante.

5.3. Premiers Exemples

5.3.1. Cas deterministe

L’algorithme de la programmation dynamique est deja interessant lorsque qu’il n’ya pas d’aleatoire, donc pour les modeles du type xn+1

= fn(xn, un). On l’emploie

Page 51: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.3 Premiers Exemples 51

surtout pour les modeles discrets, en l’absence de structure di↵erentiable, car sinonbien d’autres methodes d’optimisation sont possibles (calcul des variations, methodedu gradient,...). Un exemple classique est celui consistant a trouver le plus courtchemin entre deux points. Donnons l’exemple de la “course au tresor”. Chacune desvilles A, B, C, D, E possede un tresor (respectivement 6, 5, 7, 4, 3). Partant de la villeO, et connaissant les couts de transports indiques sur la figure, il faut determiner laroute optimale. La solution est decrite ci dessous (avec une erreur a trouver !).

Figure 5.1: Tresor (avec erreur)

5.3.2. Remarque fondamentale sur la complexite

Il y a evidemment une autre methode pour la course au tresor: on calcule le coutsur tous les chemins et on prend le minimum sur tous ces couts! Imaginons quecette course ne dure pas comme au dessus 5 unites de temps mais N = 5000 lenombre de chemins est de l’ordre de 2N c’est a dire a peu pres 101500 (car 210 ⇠ 103)donc infaisable meme sur un gros ordinateur. Par contre avec Bellman le nombred’operations est de l’ordre de N+(N�1)+ · · ·+1 ⇠ N2/2 en gros. sans comparaison! On retrouvera souvent ce genre de simplification (cf Markov cachees, par exemple).

5.3.3. Remplacement de machines

Notons {0, 1, · · · ,K} les etats dans lesquels peut etre une machine. L’etat 0 corre-spond a une machine neuve, et les autres a des etats de veillissement ou d’usuredi↵erents. L’etat Xn a l’instant n est une v.a. aleatoire. Nous supposons que, enl’absence d’intervention exterieure, l’evolution est markovienne, et nous posons

P (i, j) = P(Xn+1

= j/Xn = i), 0 i, j K.

Page 52: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

52 Controle stochastique a horizon fini

Maintenir en marche une machine usagee demande de l’entretien, donc un cout: onnote ↵(i) ce cout en l’etat i. On a aussi la possibilite de changer a chaque instant cettemachine a un cout R et d’obtenir ainsi une machine neuve. On veut decrire la strategieoptimale de maintenance dans l’intervalle de temps [0, N ], en calculant les momentsles meilleurs ou il faut renouveller cette machine. Commencons par modeliser ceprobleme sous forme de controle optimal markovien. Prenons un controle a deuxvaleurs: u = 0 si l’on ne fait rien, u = 1 si on renouvelle. On pose P (0) = P alors queP (1)(i, 0) = 1 et P (1)(i, j) = 0, si j > 0, puisque apres renouvellement la machine setrouve en l’etat 0. Le cout est donne par

c(i, 0) = ↵(i), c(i, 1) = R, �(i) = ↵(i).

On aurait pu choisir une autre condition finale, ceci depend de la situation concretemodelisee. Decrivons l’algorithme de la programmation dynamique. D’abord JN (i) =↵(i), ensuite

Jn(i) = minu2{1,0}

{c(x, u) + P (u)Jn+1

(i)}

= min{R+ Jn+1

(0),↵(i) +KX

j=0

P (i, j)Jn+1

(j)}.

Cette formule est facile a implementer sur machine. Supposons maintenant que ↵(i)et P (i, [j,K]) soient des fonctions croissantes de i, ce qui traduit exactement l’ideeque plus i est grand, plus la machine est usee. La deuxieme condition assure que sif(i) est une fonction croissante de i, alors Pf(i) =

PKj=0

P (i, j)f(j) l’est aussi, ene↵et

Pf(i) =K�1X

j=0

(P (i, [j,K])� P (i, [j + 1,K]))f(j) + P (i, [K,K])f(K)

= P (i, [0,K])f(0) +KX

j=1

(P (i, [j,K])(f(j)� f(j � 1)).

Par recurrence, il resulte de cette remarque que Jn(i) est une fonction croissante de i,pour tout 0 n N (ce qui est assez intuitif). Posons �n(i) = ↵(i) + PJn(i). Cettefonction est croissante. Soit alors

an = inf{i;R+ Jn+1

(0) �n+1

(i)}.

La strategie consiste a renouveller la machine au temps n des que son etat est � an.On determine les an par un calcul sur machine.

5.3.4. Gestion de stock

Le gestionnaire d’un magasin doit tous les soirs adapter son stock en commandanteventuellement une quantite d’un article pour satisfaire la demande des clients.

Page 53: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.3 Premiers Exemples 53

Le cout pour produire x unites est ax. Chaque client achete une unite. La demande(nombre de clients par jour) est une suite de v.a. independantes, de meme loi µ.Garder en stock une unite coute h par unite gardee jusqu’a la fin de la journee, et ladeception du client qui ne peux plus acheter car il n’y a plus d’articles coute p parunite non donnee.

Si au depart (le soir ) la taille du stock est s, si l’on commande u unites, u � 0,et si il y a w clients (le lendemain) le cout le lendemain soir, sera

C(s, w, u) = au+ p(w � s� u)+ + h(s+ u� w)+

Pour faire un modele controle, on doit se debarrasser de W dans la fonction cout. onpeut proceder ainsi: on note Sk la taille du stock signe (il peut etre negatif) le soirdu jour k, Wk le nombre de clients le jour k + 1 et le cout total est

CN = E(N�1X

k=0

C(Sk,Wk, Uk))

Si on reecrit le cout de la facon suivante:

CN =N�1X

k=0

E(C(Sk,Wk, Uk))

=N�1X

k=0

E(Z

C(Sk, w, Uk) dµ(w))

= E(N�1X

k=0

ZC(Sk, w, Uk) dµ(w))

On voit donc que si l’on pose Xk = Sk et c(x, u) =RC(x,w, u) dµ(w)) on a un modele

markovien controle. Il etait peut etre plus naturel de poser Xk = (Sk,Wk) mais alorson ne serait pas exactement dans notre modele de controle, car le point initial seraitaleatoire (il ne serait pas tres di�cile de generaliser a ce cas). Pour simplifier l’analysenous allons supposer qu’il y a ”backlog”, c’est a dire que les clients non servis restenten attente, jusqu’a satisfaction. Autrement dit on pose

X1

= X0

+ u�W0

ou W0

est une v.a. aleatoire independante de loi µ. (si on avait voulu modeliserla situation ou les clients non satisfaits repartent immediatement. On aurait poseX

1

= (X0

+ u�W0

)+).

5.3.5. Une solution explicite

Utilisons l’algorithme de Bellman, avec ici

JN (x) = 0

Page 54: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

54 Controle stochastique a horizon fini

puis

Jn(x) = minu�0

[c(x, u) + E(Jn+1

(x+ u�W ))]

ou W est une v.a. de loi µ et

c(x, u) = E[au+ p(W � x� u)+ + h(x+ u�W )+].

Proposition 5.3.1 On suppose que p, h � 0 et p > a > 0. On peut determiner unesuite �n telle que la decision optimale est un(x) = (�n � x)+.

Preuve: On pose

gn(x) = L(x) + E(Jn+1

(x�W ))

ou

L(x) = ax+ pE(W � x)+ + hE(x�W )+

Alors

Jn(x) = minu�0

gn(u+ x)� ax.

Remarquons que Jn+1

� 0 (car c’est un minimum de quantites positives) et que,puisque p > a,

limx!±1

L(x) = +1

on a donc

limx!±1

gn(x) = +1

Montrons par recurrence retrograde sur n N que Jn est convexe. C’est trivial pourJN qui est la fonction identiquement nulle. Supposons Jn+1

convexe. Les fonctionsx+ et (�x)+ etant convexes, on voit que L est convexe; donc gn est convexe. Notons�n le (plus petit) point ou la fonction gn atteint son minimum. Alors

Jn(x) = gn(�n)� ax, et un(x) = �n � x, si x �n

et

Jn(x) = gn(x)� ax et un(x) = 0, si x � �n

en notant un(x) le controle pour lequel le minimum est atteint. Cette fonction Jn estbien convexe (faire le dessin) et on a

un(x) = (�n � x)+.

Page 55: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.4 Arret optimal 55

5.4. Arret optimal

5.4.1. Introduction

Considerons les systemes que l’on ne peut controler que de la facon suivante: achaque instant on decide de continuer ou d’arreter. Il s’agit de trouver le momentoptimal pour s’arreter: on parle d’arret optimal. Ce moment ne doit dependre quede l’observation passee ou presente (on ne peut anticiper l’avenir), c’est pourquois’introduisent naturellement les temps d’arret. Donnons quelques exemples: un joueurdoit decider du moment ou il quitte le jeu. Un particulier vend sa maison, desacheteurs successifs proposent un prix. A chaque fois, le vendeur peut vendre a ceprix, mais un prix refuse ne se represente pas. Il faut choisir le meilleur moment pourvendre. Vous vous dirigez en voiture vers un but, en cherchant a vous garer le pluspres de ce but. Vous ne pouvez pas faire demi tour: si vous ne profitez pas d’une placevide quand vous passez devant, vous ne la retrouverez pas. Si vous avez une bonnemodelisation de l’evolution d’un cours de bourse, a quel moment acheter (ou vendre)une action ? (Ce probleme a une version plus realiste: a quel moment exercer uneoption americaine ?).

Le probleme general est le suivant: Etant donne une suite de v.a.r. adaptee (Zn)a une filtration (Fn) integrables, et N > 0 fixe, trouver

supE(Z�)

le sup etant pris sur l’ensemble des temps d’arrets � N . On dit qu’un temps d’arret� est optimal si il realise le sup.

On peut resoudre ce probleme de deux facons, soit parfois en utilisant l’enveloppede Snell, soit en utilisant le cadre Markovien.

5.4.2. Enveloppe de Snell d’une suite adaptee

Fixons un horizonN > 0. Soit Zn, 0 n N, une suite de v.a.r. integrables adaptee aune filtration (Fn). Definisssons par recurrence descendante une suite Un, 0 n N ,par les egalites

UN = ZN , Un = max(Zn,E(Un+1

|Fn)), n = N � 1, N � 2, · · · , 1

La suite (Un) est une surmartingale majorant (Zn) (et c’est la plus petite) appeleeenveloppe de Snell de (Zn).

Proposition 5.4.1 Posons

⌧ = inf{n � 0;Un = Zn};

⌧ est un temps d’arret et U ⌧n est une martingale.

Page 56: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

56 Controle stochastique a horizon fini

Preuve: On a �U ⌧n = 1{n⌧}�Un. Sur l’evenement {n ⌧}, Un�1

est strictementsuperieur a Zn�1

par definition de ⌧ , de sorte que Un�1

= E(Un|Fn�1

). On a donc�U ⌧

n = 1{n⌧}(Un � E(Un|Fn�1

)). On en deduit que

E(�U ⌧n |Fn�1

) = 1{n⌧}E(Un � E(Un|Fn�1

)|Fn�1

) = 0

Rappelons qu’un temps d’arret � est optimal si il realise supE(Z�) sur les tempsd’arret � N .

Proposition 5.4.2 Soit (Un) l’enveloppe de Snell de (Zn). Le temps d’arret

⌧ = min{n � 0;Un = Zn}

est optimal et c’est le plus petit p.s.

Preuve: Pour tout temps d’arret � N on a (en utilisant dans l’ordre le fait queU ⌧ est un martingale, le fait que U est une surmartingale et l’inegalite U� � Z�),

E(Z⌧ ) = E(U⌧ ) = E(U0

) � E(U�) � E(Z�)

Donc ⌧ est optimal. Si � est optimal, E(Z�) = E(U�) donc p.s. Z� = U� d’ou ⌧ �.

5.4.3. Cadre markovien

Soit {Xn, n 2 N} une (”vraie”) chaıne de Markov inhomogene de noyaux de transitionPn(., .) sur un espace F muni d’une tribu F . Rappelons que si f : F ! R+ estmesurable,

E[f(Xn+1

)|�(X0

, · · · , Xn)] = Pnf(Xn).

Pour tout entier n � 0, donnons nous une fonction �n : F ! R representant le gainde l’arret au temps n. On fixe un horizon N > 0 et on cherche

max{E(�⌧ (X⌧ )), ⌧ temps d’arret, ⌧ N}.

et le temps d’arret ⌧ realisant ce maximum, pour la filtration Fn = �(X0

, · · · , Xn).Le resultat est le suivant:

Theoreme 5.4.3 Posons pour tout x 2 E, JN (x) = �N (x), et

Jk(x) = max{�k(x), PkJk+1

(x)},

si 0 k < N . Alors

J0

(x) = max{E(�⌧ (X⌧ )/X0

= x), ⌧ t. d’a., ⌧ N}.

Un temps d’arret optimal est ⌧ = min{k � 0;�k(Xk) � PkJk+1

(Xk)} ^N .

Dans ce cadre Markovien, on peut pour montrer ce theoreme, soit adapter l’enveloppede Snell, soit appliquer directement la programmation dynamique.

Page 57: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.4 Arret optimal 57

5.4.4. Approche du cas Markovien par l’enveloppe de Snell

L’enveloppe de Snell de la suite Zn = �n(Xn) est donnee par

UN = ZN = �N (XN )

puis, par recurrence retrograde,

Uk = max{Zk,E(Uk+1

|Fk)}.

On voit que la solution est Uk = Jk(Xk), ce qui montre le theoreme.

5.4.5. Approche du cas markovien par la programmation dynamique

C’est ici plus long et nous conseillons de ne pas la regarder ! le seul interet est devoir fonctionner cette programmation dynamique dans un cadre un peu complique.Associons donc a ce probleme un modele markovien controle. On ajoute a F un point�, parfois appele “cimetiere”. Soit E = F [ {�}. L’ensemble des controles C estun ensemble a deux points : C = {s, c}, s pour “stop” et c pour “continuer”. On

introduit les noyaux controles P (u)n (., .) par les formules suivantes: si x 2 F et A est

un sous ensemble mesurable de F ,

P (c)n (x,A) = Pn(x,A), P

(c)n (x,�) = 0, P (c)

n (�, A) = 0, P (c)n (�,�) = 1

qui signifient que si l’on decide de continuer, a moins d’etre deja “mort”, on suit lachaıne Xn, et

P (s)n (x,A) = 0, P (s)

n (x,�) = 1, P (s)n (�, A) = 0, P (s)

n (�,�) = 1.

Enfin on introduit les fonctions de perte cn de la facon suivante:

cn(x, u) = �n(x), si u = s et x 2 F, cn(x, u) = 0 sinon,

et la perte finale �(x) = �N (x), si x 2 E et �(�) = 0 . Associons a ce modele lachaıne controlee Xn a valeurs dans E (pour ne pas confondre avec Xn) qui verifie,elle,

E(⌫)(f(Xn+1

)|�(X0

, · · · Xn)) = P (Un)n f(Xn).

Lemme 5.4.4 La solution du probleme de controle markovien associe a ces donneesest celle de l’arret optimal. Autrement dit

max{E(�⌧ (X⌧ )), ⌧ t. d’a. , ⌧ N} = maxU0,··· ,UN�1

E(N�1X

k=0

ck(Xk, Uk) + �(XN )).

Page 58: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

58 Controle stochastique a horizon fini

Preuve: Pour toute strategie (U) = U0

, U1

, · · ·UN�1

, posons UN = s et ⌧ = min{n N ;Un = s}. On peut supposer que, sous P(U), Xn = Xn si n ⌧ . Alors

N�1X

k=0

ck(Xk, Uk) + �(XN ) = �⌧ (X⌧ ) = �⌧ (X⌧ )

et ⌧ est un temps d’arret. Donc

max{E(�⌧ (X⌧ )), ⌧ t. d’a., ⌧ N} maxU0,··· ,UN�1

E(N�1X

k=0

ck(Xk, Uk) + �(XN )).

L’inegalite dans l’autre sens s’obtient en associant a un temps d’arret S les controlesdefinis par Un = s si et seulement si S = n.

En traduisant l’algorithme de la programmation dynamique on obtient bien letheoreme 5.4.3, en e↵et En e↵et, l’algorithme general s’ecrit

Jk(x) = maxu=s,c

{ck(x, u) + P (u)k Jk+1

(x)}.

Posons JN (�) = 0. Alors, par recurrence Jk(�) = 0,

ck(x, s) + P (s)k Jk+1

(x) = �k(x)

et

ck(x, c) + P (c)k Jk+1

(x) = PkJk+1

(x)

ce qui donne le theoreme.

5.4.6. Exemples

Proprietaire

Considerons par exemple le cas d’un proprietaire a qui on propose successivement lessommes X

0

, X1

, · · · , XN . Ces variables aleatoires sont supposees independantes et dememe loi. Quel acheteur choisir ? On cherche ici a maximiser. On voit que dans cecas JN (x) = x, puis

Jk(x) = max(x,E(Jk+1

(X0

)))

Il existe donc des seuils ↵0

, · · · ,↵N�1

, determines par ↵N�1

= E(X0

), puis la formulede recurrence ↵k = E(max(X

0

,↵k+1

)), tels que le proprietaire vend au premier instantn tel que le prix propose est superieur ou egal a ↵n. Il est interessant de regarder cequi se passe lorsque N ! +1.

Page 59: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.4 Arret optimal 59

Secretaires

On considere N candidats a un poste de secretaire. Il s’agit de choisir le meilleur.On les auditionne les uns apres les autres. A la fin de chaque audition, on decidesi on embauche ce secretaire, ou si on essaye d’en trouver un autre meilleur. Lessecretaires sont classes par ordre de qualite. Ils ont donc un rang, qui va de 1 pour lemeilleur a N pour le moins bon. On ne connait pas ce rang, la seule chose que l’onpeut voir, c’est comment ce candidat se place parmi les precedents. Donc son rangrelatif par raport aux precedents. On note Xn le rang relatif du candidat n. DoncX

1

= 1, X2

2 {1, 2}, · · · , Xn 2 {1, · · · , n} ou Xn = k signifie que le n-ieme candidata le rang k parmi les n premiers.

La regle de base est qu’un candidat rejete est fache et s’en va. On ne pourra plusaller le rechercher. En d’autre termes la decision d’embauche est immediate.

On suppose que les candidats arrivent ”au hasard”, donc plus precisement queleur ordre est une permutation aleatoire sur un ensemble a n elements de loi uniforme.

Proposition 5.4.5 Les v.a. Xn sont independantes, Xn ayant la loi uniforme sur{1, · · · , n}

Preuve: Au temps n, conditionnellement a X1

, · · · , Xn, on connait l’ordre relatif desn premiers candidats, le nouveau peut se placer n’importe ou parmi eux. Il peut doncprendre n’importe quel rang, avec la meme probabilite, qui est donc 1/(n+ 1). (Onpeut aussi remarquer que la loi est invariante par les permutations des n premierselements, pour obtenir ce resultat).

On voit qu’en d’autre termes, la suite Xn, n 2 N est une chaine de Markov inho-mogene sur E = {1, · · · , N} de probabilites de transition donnee par

Pn(x, y) = 1/(n+ 1) si y = 1, · · · , n+ 1, Pn(x, y) = 0 si y > n+ 1.

On est donc bien dans le cadre Markovien. Cherchons a maximiser la probabilitede prendre le meilleur candidat. A l’instant n cette probabilite est nulle si le candidatn’a pas le rang relatif 1, et est egale sinon a la probablite que le meilleur de tous soitentre 1 et n donc a n/N puisque le meilleur est reparti uniformeement sur tous lescandidats. On pose donc

'n(x) =n

N1{x=1}.

et on cherchemax⌧N

E(�⌧ (X⌧ )).

L’algorithme donneJN (x) = 'N (x) = 1{x=1}

et pour k = N � 1, · · · , 1,

Jk(x) = max{'k(x), PkJk+1

(x)}.

Page 60: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

60 Controle stochastique a horizon fini

Posons, pour k = 1, · · · , N � 1,

vk = PkJk+1

(x) = E(Jk+1

(Xk+1

)) =1

k + 1

k+1X

n=1

Jk+1

(n)

(il est independant de x). La recurrence s’ecrit JN (x) = 1{x=1} puis

Jk(x) = max{ k

N1{x=1}, vk}.

Notons, pour k = 1, · · · , N � 1,

wk =1

k+

1

k + 1+ · · ·+ 1

N � 2+

1

N � 1,

cette suite est decroissante et w1

> 1. Soit

k0

= max{n N � 1;wn > 1}.

Lemme 5.4.6 Pour tout k, vk = min(k,k0)N wmin(k,k0) et J1(x) =

k0N wk0.

Preuve: Montrons ceci par recurrence retrograde sur k. Cette relation est vraie pourk = N � 1 car wN�1

= 1

N�1

et

vN�1

=1

N

NX

x=1

JN (x) =1

N.

Si elle est vraie au rang k > k0

, alors par hypothese de recurrence vk = kNwk. On a

Jk(x) = max{ k

N1{x=1}, vk} = max{ k

N1{x=1},

k

Nwk}

donc, puisque wk 1, Jk(1) =kN et pour x > 1, Jk(x) =

kNwk. On a donc

vk�1

=1

k

kX

n=1

Jk(n) =1

k(k

N+ (k � 1)

k

Nwk) =

1

N+

k � 1

Nwk

=k � 1

N(wk +

1

k � 1) =

k � 1

Nwk�1

.

Traitons maintenant le cas ou k k0

par recurrence. On a deja vk0 = k0N wk0 par ce

qui precede. Si c’est vrai au rang k k0

,

Jk(x) = max{ k

N1{x=1}, vk} = max{ k

N1{x=1},

k0

Nwk0} =

k0

Nwk0

donc vk�1

= k0N wk0 .

Page 61: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

5.4 Arret optimal 61

Proposition 5.4.7 Soit k0

= max{k;wk > 1}. Alors J0

(x) = k0N wk0 et la strategie

optimale consiste a voir les k0

premiers candidats, et a choisir ensuite le premier quiest meilleur que les precedents.

Preuve: En e↵et

Jk(x) = max{ k

N1{x=1},

max(k, k0

)

Nwmax k,k0}

Pour N assez grand

1

k+

1

k + 1+ · · ·+ 1

N � 2+

1

N � 1⇠

Z N�1

k

1

xdx ⇠ ln

N

k

donc le premier k tel que ceci soit 1 verifie a peu pres,

N

k= e

On voit donc a peu pres 1/e ⇠ 0.37 des candidats puis on prend le premier qui estmeilleur que ses precedents (faire le calcul pour N = 12 par exemple).. La probabilitede succes de cette strategie est a peu pres k

N ⇠ 1

e , donc assez grande.

Options americaines

Une option Call (resp. Put) americaine sur une action de prix Sn au jour n donne ledroit mais pas l’obligation d’acheter (resp. vendre) cette action au prix d’exercice Kjusqu’a la date T . Ce droit a un cout, le prix de l’action, C pour un Call, P pour unput, paye a la date 0. La theorie de Black et Scholes montre qu’il existe un R � 1 etun espace de probabilite (⌦,A,P) tel que, sous certaines conditions, R�nSn est unemartingale et

C = maxE(R�⌧ (S⌧ �K)+)

P = maxE(R�⌧ (K � S⌧ )+)

ou a chaque fois le maximum est pris sur tous les temps d’arrets ⌧ de la filtration Sn

inferieur ou egaux a T . Dans ces modelisations Sn est une chaıne de Markov. On estdans le cadre de l’arret optimal, qui s’applique directement, en posant, pour un Call

�n(x) = R�n(x�K)+

et pour un Put�n(x) = R�n(K � x)+.

Notons le resultat general suivant:

Lemme 5.4.8 Si (Zk) est une sous martingale, pour tout entier n � 0,

sup⌧n,⌧ t.d0a.

E(Z⌧ ) = E(Zn)

Page 62: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

62 Controle stochastique a horizon fini

Preuve: Resulte du fait que, par le theoreme d’arret, E(Zn|F⌧ ) � Zn^⌧ .

Proposition 5.4.9 Pour un Call un temps d’exercice optimal est T .

Preuve: Il su�t de remarquer que R�n(Sn �K)+ est une sous martingale: En e↵et,puisque R�nSn est une martingale et puisque x+ � x on a, si m � n,

E(R�m(Sm �K)+|Fn) � E(R�m(Sm �K)|Fn)

� E(R�mSm|Fn)�R�mK � R�nSn �R�nK

puisque R � 1. Comme par ailleurs l’esperance conditionnelle cherchee est positive,on a bien qu’elle est superieure a R�n(Sn �K)+.

Page 63: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 6

Marches a temps discret, AOA,completude

6.1. Modele Stock-Bond

Marche financier: (⌦,Fn, n N) et m mesure de reference �-finie ”naturelle” sur ⌦,par exemple mesure de comptage si ⌦ est fini ou denombrable, mesure de Lebesguesi ⌦ = Rd.

Definition 6.1.1 (Marche (S,B)) Actifs (sous jacents)

Sn, Bn, 0 n N,

avec B previsible strictement positif, B0

= 1 et S adapte (intuitivement valeur a lacloture a 17 h le jour n).

On peut considerer le cas ou Sn = (S1

n, · · · , Sdn) est un vecteur, mais nous nous lim-

iterons dans la suite (sauf cas contraire) au cas undimensionnel d = 1. La generalisationconsiste seulement le plus souvent a remplacer les expressions du type ↵S ou ↵ estun reel par le produit scalaire < ↵, S >.

S pour ”Stock”, exemple typique : action.B pour ”Bond”, exemple typique : placement sans risque (taux d’interet a court

terme comme le JJ).

Role de Bn, exemple Bn = (1 + r)n ou Bn = ern, prix actualises, changt denumeraire. Bn represente l’actualisation aujourd’hui, pour la date n.

Notation:

• actualises des actifsSn = Sn/Bn

Page 64: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

64 Marches a temps discret, AOA, completude

• rendement

�Un =�Sn

Sn�1

=Sn � Sn�1

Sn�1

.

6.2. Portefeuille du marche (S,B) et autofinancement

6.2.1. Portefeuille

Le soir n je m’occupe de mon portefeuille, et la bourse est fermee. En fonctions desactifs du jour n je fabrique ce qui sera mon portefeuille pour toute la journee n+ 1.Je connais sa valeur le lendemain jour n+1 a l’ouverture, mais pas le soir n+1. Dansla journee je n’y touche plus mais la bourse evolue.

Strategie de gestion / portefeuille (portfolio)

Definition 6.2.1 On appelle portefeuille du marche (S,B) une suite previsible

(↵n,�n), 1 n N,

a valeur dans R2. La valeur du portefeuille (moralement a 17h 30 le jour n) est, pardefinition, au temps n,

Vn = ↵nSn + �nBn.

↵n et �n representent le nbre de parts des deux actifs que je possede pendant lajournee n. Je l’ai choisi la veille au soir, c’est donc previsible.

La valeur Vn du portefeuille represente la valeur a la fin de la journee n, sachantque le soir (disons apres 17 h 30, heure de cloture de la bourse) je peux decider dere–repartir mon portefeuille pour le lendemain entre les actifs. On commence le soirdu jour 0.

Notons que ↵n,�n peuvent etre negatifs, ce qui correspond a des emprunts ou desachats a decouverts (short selling en anglais).

6.2.2. Autofinancement

Placons nous le soir du jour n� 1. A la fermeture, 17 h.30, on a

Vn�1

= ↵n�1

Sn�1

+ �n�1

Bn�1

.

Le soir meme, (par exemple a 18 h) on repartit di↵eremment Vn�1

entre les deuxactifs (et on pourra le matin avant l’ouverture realiser ce changement).

Vn�1

= ↵nSn�1

+ �nBn�1

.

Pendant la journee n la valeur des actifs peut varier. Le soir du jour n on aura, apresles fluctuations du cours dans la journee,

Vn = ↵nSn + �nBn,

Page 65: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.2 Portefeuille du marche (S,B) et autofinancement 65

on a donc�Vn = Vn � Vn�1

= ↵n(Sn � Sn�1

) + �n(Bn �Bn�1

)

ce qui s’ecrit�Vn = ↵n�Sn + �n�Bn

ou encoreVn = V

0

+ (↵ ? S)n + (� ?B)n.

Definition 6.2.2 Le portefeuille (↵n,�n), 1 n N , de valeur Vn = ↵nSn + �nBn

est autofinance si, pour tout n N ,

Vn = V0

+ (↵ ? S)n + (� ?B)n,

ou, ce qui est equivalent, pour tout n, 1 n N,

�Vn = ↵n�Sn + �n�Bn.

Remarquons que ces relations entrainent que V0

= ↵1

S0

+ �1

B0

.

6.2.3. Changement de numeraire

On rappelle que l’on pose

Sn =Sn

Bn

que l’on peut interpreter comme la valeur de l’actif dans un nouveau numeraire, oucomme la valeur actualisee de Sn. De la meme facon posons,

Vn =Vn

Bn

on pourrait aussi introduire Bn = BnBn

mais c’est evidemment 1.

Proposition 6.2.3 Un portefeuille (↵n,�n), n N , de valeur Vn = ↵nSn + �nBn

autofinance dans le marche (S,B) est aussi autofinance dans le marche (S, 1) devaleur Vn et la condition d’autofinancement s’ecrit

Vn = V0

+ (↵ ? S)n.

Preuve: La relation Vn = ↵nSn + �nBn s’ecrit aussi

Vn = ↵nSn + �n.

La relation d’autofinancement

Vn�1

= ↵n�1

Sn�1

+ �n�1

Bn�1

= ↵nSn�1

+ �nBn�1

donne

↵n�1

Sn�1

Bn�1

+ �n�1

= ↵nSn�1

Bn�1

+ �n

donc↵n�1

Sn�1

+ �n�1

= ↵nSn�1

+ �n.

Page 66: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

66 Marches a temps discret, AOA, completude

Corollaire 6.2.4 Un portefeuille autofinance est determine par V0

et {↵k, 1 k N}.

Preuve: En e↵et si Vn est autofinance on a Vn = V0

+ (↵ ? S)n donc

Vn = Bn(V0

B0

+ (↵ ? S)n).

Remarquons que

�n = Vn � ↵nSn.

Cette quantite est bien previsible (malgre les apparences) car, comme on l’a vu plushaut

�n = (↵n�1

� ↵n)Sn�1

+ �n�1

6.3. AOA

Definition 6.3.1 On appelle ”Opportunite d’arbitrage” un portefeuille autofinancede valeur Vn, 0 n N tel que

V0

= 0,

VN � 0,m� p.s.

m(VN > 0) > 0.

Il y a absence d’opportunite d’arbitrage (AOA) si il n’y a pas de tel portefeuille. Ondit qu’un marche est viable si AOA.

Une autre notion qui va s’averer essentielle est la suivante.

Definition 6.3.2 On appelle mesure martingale une probabilite P sur (⌦, (Fn, 0 n N)) pour laquelle l’actualise du spot Sn = Sn/Bn est une martingale locale.

Un des theoremes fondamentaux est: ”The first fundamental theorem of assetpricing”, du a Harrison et Pliska essentiellement:

Theoreme 6.3.3 (Premier theoreme fondamental de l’evaluation) Il y a ab-sence d’opportunite d’arbitrage (AOA) ssi il existe une mesure martingale equivalentea m. Dans ce cas on dit que le marche est viable.

La preuve est un peu longue et le reste de cette section lui est consacre.

Page 67: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.3 AOA 67

6.3.1. Lemme sur la transformee de Laplace

Commencons par un lemme sur la transformee de Laplace d’une v.a. reelle.

Lemme 6.3.4 Soit X une v.a. reelle telle que pour tout a 2 R,

�(a) = E(eaX) < +1.

La fonction � est deux fois derivable, de derivees

�0(a) = E(XeaX),�00(a) = E(X2eaX)

donc convexe. De pluslim

a!±1�(a) = +1

si P(X > 0) 6= 0 et P(X < 0) 6= 0.

Preuve: On utilise le theoreme de Lebesgue de derivation sous le signe somme, quiest lui meme une consequence du theoreme de convergence dominee et le fait quepour tout M > 0 si |a| M , x2eax Cte(e(M+1)x + e�(M+1)x) pour tout x 2 R.

Introduisons la methode de relativisation appelee aussi transformation d’Esscheren assurance.

Proposition 6.3.5 Soit X une v.a. reelle telle que

m(X > 0) 6= 0,m(X < 0) 6= 0.

Alors, il existe une proba P equivalente a m telle que

E(eaX) < +1

pour tout a 2 R, E(|X|) < +1 et E(X) = 0.

Preuve: Soit m une probabilite equivalente a m (cf Lemme 3.3.4). Notons P laprobabilite equivalente a m definie par

dP = ce�X2dm.

ou c = 1/Re�X2

dm. Pour tout a 2 R, on pose �(a) = E(eaX) et

dPa =eaX

�(a)· dP

La fonction � est derivable convexe, et lima!±1 �(a) = +1 par l’hypothese. Elleatteint donc son minimum en un point a⇤ tel que �0(a⇤) = 0 alors Pa⇤ est solution. ⇤

Page 68: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

68 Marches a temps discret, AOA, completude

6.3.2. Preuve du theoreme.

Apres changement de numeraire on peut supposer que Bk = 1 pour tout k, sans pertede generalite. Nous le supposerons donc. On choisit provisoirement une probabilite Pequivalente a m.

Lemme 6.3.6 Pour n = 1, · · · , N , soit Xn = �Sn,

A = {! 2 ⌦;E(1{Xn>0}|Fn�1

)(!) > 0 et E(1{Xn<0}|Fn�1

)(!) > 0}

etB = {! 2 ⌦;E(1{Xn=0}|Fn�1

)(!) = 1}

Si AOA, P(A [B) = 1.

Preuve: PosonsC = {E(1{Xn<0}|Fn�1

) = 0}.

etD = {E(1{Xn>0}|Fn�1

) = 0}

On a Ac contenu dans C[D. Il su�t donc de montrer que C et D sont contenus dansB. Commencons par C. On construit un portefeuille Vk = ↵kSk + �k, 0 k N, dela facon suivante: V

0

= 0 puis

↵k = �k = 0, si k n� 1,

↵n = 1C ,�n = �1CSn�1

,

↵k = 0,�k = Vn, si k � n+ 1.

On aVk = 0, si k n� 1,

Vn = 1C(Sn � Sn�1

) = 1CXn,

Vk = Vn, si k � n+ 1,

Donc �Vk = ↵k�Sk pour tout k. Ce portefeuille est donc autofinance et VN = Vn =1CXn. On a

E(1C1Xn<0

) = E(1CE(1Xn<0

|Fn�1

)) = 0

donc, p.s., VN � 0. Puisque V0

= 0 on a donc, par AOA, VN = 0, p.s. Donc, p.s.,

1C1Xn>0

= 0

ce qui entraine que son esperance conditionnelle par rapport a Fn�1

est nulle

1CE(1Xn>0

|Fn�1

) = 0,

donc C est p.s. contenu dans B. De meme, par symetrie, D est contenu dans B, p.s.. ⇤

Page 69: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.3 AOA 69

Preuve du theoreme: (sens direct) On prend Bk = 1 pour tout k sans perte degeneralite. On pose

P(d!) = c exp(�NX

i=0

X2

i (!))m(d!)

ou c est choisi pour que m soit une probabilite equivalente a m (cf Lemme 3.3.4) et,pour chaque n,

�n(a) = E(eaXn |Fn�1

)

Pour chaque ! 2 A, A defini au lemme precedent, la fonction a 7! �n(a)(!) eststrictement convexe et

lima!1

�n(a)(!) = +1, p.s.

en e↵et, par Lebesgue monotone il su�t de voir que

lima!+1

�n(a) � lima!+1

E(eaXn1{Xn>0

|Fn�1

) = (+1)E(1{Xn>0}|Fn�1

)

et l’analogue quand a ! �1. En adaptant la preuve du lemme 6.3.4 au cas condi-tionnel on voit qu’il existe un unique an tel que �n(an) = mina2R �n(a) et donc telque

�0n(an) = 0

c’est a direE(Xne

anXn |Fn�1

) = 0. (6.1)

Par unicite ! 7! an(!) est mesurable car l’ensemble {(a,!);�0n(a)(!) = 0} estmesurable. Sur Ac on pose an = 0, Xn = 0 et (6.1) est encore vrai.

On pose Z0

= 1 puis, par recurrence,

Zn = Zn�1

eanXn

E(eanXn |Fn�1

)

etdP = ZN dP.

Remarquons queE(Zn|Fn�1

) = Zn�1

(martingale). En particulier E(ZN ) = 1. Donc P est une probabilite. Montrons quesous P, Sn est une martingale locale. Par Bayes (Lemme 3.4.3)

E(Xn|Fn�1

) =E(XnZN |Fn�1

)

E(ZN |Fn�1

)

OrE(XnZN |Fn�1

) = E(E(XnZN |Fn)|Fn�1

) = E(XnE(ZN |Fn)|Fn�1

)

= E(XnZn|Fn�1

) = E(XnZn�1

eanXn

E(eanXn |Fn�1

)|Fn�1

)

Page 70: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

70 Marches a temps discret, AOA, completude

=Zn�1

E(eanXn |Fn�1

)E(Xne

anXn |Fn�1

) = 0

Ceci montre que E(Sn|Fn�1

) = Sn�1

, (le fait que E(|Sn||Fn�1

) est fini se voit de lameme facon) on a donc bien une martingale locale. La probabilite P est donc unemesure martingale equivalente a m.

Reciproquement, si P est une mesure martingale equivalente a m, Sn est sous Pune martingale locale, si Vn = (↵?S)n est tel que VN � 0 p.s., (Vn) est une martingale(c.f. Proposition 4.6.4) et si E(VN ) = E(V

0

) = 0, VN = 0, p.s.

6.4. Evaluation d’un actif replicable dans un marche vi-able

On se donne un ”marche” (S,B) sur ”l’univers” (⌦,A, (Fn, 0 n N),m). Rap-pelons qu’on a appele marche viable un marche (Sn, Bn), 0 n N , dans lequel il ya AOA. Alors il existe une mesure martingale P.

Definition 6.4.1 (i) Un actif (derive) est par definition une v.a. FN -mesurable.

(ii) Un actif Z est replicable si il existe un portefeuille autofinance de valeurVN = Z (m p.s.).

Theoreme 6.4.2 Dans un marche viable, si Z est un actif replicable, il existe unseul portefeuille autofinance (Vn) de valeur VN = Z, m p.s.. En particulier il nedepend pas de la mesure martingale P. On appelle V

0

le prix a l’instant 0 de l’actifderive Z.

Preuve: Supposons qu’il existe deux portefeuilles autofinances V (1)

n et V (2)

n tels que

V (1)

N = V (2)

N = Z, m p.s.. Soit P une mesure martingale equivalente a m. Sous P,V (1)

n = V (1)

n /Bn et V (2)

n = V (2)

n /Bn sont des martingales locales. Montrons par

recurrence retrograde sur n que V (1)

n = V (2)

n , m-p.s. C’est vrai pour n = N , et si

c’est vrai au rang n+ 1, alors V (1)

n+1

= V (2)

n+1

et donc

V (1)

n = E(V (1)

n+1

|Fn) = E(V (2)

n+1

|Fn) = V (2)

n

Donc V (1)

n = V (2)

n , m-p.s. Ceci montre l’unicite. Dire qu’il depend de P voudrait direqu’il existe au moins deux mesures martingales et deux portefeuilles autofinancesdi↵erents associees. Ceci contredit l’unicite du portefeuille.⇤

On peut donc bien poser:

Definition 6.4.3 Dans un marche viable, le prix a l’instant 0 d’un actif replicableZ est la valeur V

0

d’un portefeuille autofinance verifiant VN = Z.Ce portefeuille est appele Portefeuille de couverture de l’actif.

Page 71: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.5 Marche complet 71

Remarquons qu’on trouve concretement ce portefeuille en choisissant une mesuremartingale P equivalente a m, puis en ecrivant par recurrence retrograde

VN = Z

puis, pour n < N ,Vn = E(Vn+1

|Fn)

sous la formeVn = ↵nSn + �n

avec ↵n et �n previsibles (ce n’est possible que si Z est replicable).Dans les exemples d’options, Z est positive, on a (en utilisant la Proposition

4.6.4),

Proposition 6.4.4 Si Z est un actif replicable tel que Z � 0, m-p.s. ou si Z/BN 2L1, pour toute mesure martingale equivalente a m,

V0

= E( Z

BN|F

0

).

6.5. Marche complet

Par le premier theoreme fondamental on sait que la viabilite est equivalente a l’absenced’opportunite d’arbitrage. On va supposer dans cette section que Bn et Sn sont lesdeux seuls actifs intervenants. Autrement dit que

Fn = �(B0

, S0

, B1

, S1

, · · · , Bn�1

, Sn�1

, Sn)

A l’instant 0 on connait l’etat du marche donc S0

et B0

et B1

(rappelons que l’oncommence au soir du jour 0). On peut donc les supposer constants. On a donc F

0

={;,⌦}. On en deduit par recurrence que

Fn = �(S1

, · · · , Sn).

Definition 6.5.1 On dit que le marche est complet si tout actif Z tel que Z/BN estborne est replicable.

Theoreme 6.5.2 (Deuxieme Theoreme fondamental) Un marche viable est com-plet si et seulement si il existe une seule mesure martingale P equivalente a m.

Le plan de la preuve, un peu longue est le suivant: on va montrer queComplet =>Unicite de P=> Propriete de Bernoulli => Representation previsible

=>Complet

Page 72: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

72 Marches a temps discret, AOA, completude

6.5.1. Complet => Unicite de PCeci resulte du theoreme 6.4.2.

6.5.2. Unicite de P => Propriete de Bernoulli

On dit que le marche a la propriete de Bernoulli si m p.s. la loi conditionnelle de Sn

sachant S0

, · · · , Sn�1

est portee par deux points. Autrement dit il existe pour toutn, deux v.a. previsibles Un et Dn (up et down) telles que, p.s.,

Sn 2 {Dn, Un}.

Puisque D1

et U1

sont F0

mesurables, ils sont constants. Donc S1

ne prend que deuxvaleurs. Mais alors, D

2

et U2

ne prennent chacun que deux valeurs (puiqu’ils sontfonctions de S

1

). Donc S2

est (non-conditionnellement) a valeurs dans un ensemblea 4 elements, etc... Finalement, l’ensemble ⌦ = {! 2 ⌦;m(!) > 0} est fini et il portem et tous les Sn. On peut donc, quitte a remplacer ⌦ par ⌦, supposer que ⌦ est finiet que m est la mesure de comptage.

Proposition 6.5.3 Si il y a unicite de la mesure martingale, on a la propriete deBernoulli.

La preuve est un peu technique. On pourra l’admettre. Je la donne en appendice.

6.5.3. Propriete de Bernoulli => Representation previsible

Donnons nous un espace de probabilite (⌦, (Fn), 0 n N,P) et une martingalelocale S.

Definition 6.5.4 On dit qu’une martingale Mn a la propriete de representationprevisible si il existe un processus previsible (↵k) tel que, pour 0 n N ,

Mn = M0

+ (↵ ? S)n

Proposition 6.5.5 Avec la propriete de Bernoulli, si le modele est viable, sous lamesure martingale, on a representation previsible de toute martingale.

Preuve: On peut supposer que Bn = 1, que ⌦ est fini et m uniforme. Soit Mn unemartingale, nulle en 0, que l’on veut ecrire sous la forme M = ↵?S avec ↵ previsible.Cherchons par recurrence sur n, un processus ↵n previsible tel que �Mn = ↵n�Sn,avec

↵n = fn(S0

, · · · , Sn�1

).

Sur l’ensemble S0

= a0

, · · · , Sn�1

= an�1

, la valeur de Mn�1

est fixee, disons mn�1

,�Sn ne prend que deux valeurs, notees d1n d2n et �Mn (etant Fn mesurable), ne

Page 73: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.5 Marche complet 73

prend aussi que deux valeurs, disons �1n quand �Sn = d1n et �2n quand �Sn = d2n, avec�1n = �2n quand d1n = d2n. La relation �Mn = ↵n�Sn donne donc deux equations:

�1n = ↵nd1

n, �2

n = ↵nd2

n.

ou l’inconnue est ↵n. Par ailleurs on sait que Sn et Mn sont des martingales, donc

0 = E(�Sn|S0

= a0

, · · · , Sn�1

= an�1

)

et0 = E(�Mn|S0

= a0

, · · · , Sn�1

= an�1

),

ce qui s’ecrit, si pn = P(�Sn = d1n|S0

= a0

, · · · , Sn�1

= an�1

) et qn = 1 � pn =P(�Sn = d2n|S0

= a0

, · · · , Sn�1

= an�1

)

pnd1

n + qnd2

n = 0,

pn�1

n + qn�2

n = 0.

Si d1n = d2n alors �1n = �2n donc d1n = d2n = �1n = �2n = 0 et on peut prendre ↵n = 0. Sid1n 6= d2n, et si par exemple d1n 6= 0, on peut poser

↵n =�1nd1n

on aura bien

�2n = �pn�1nqn

=d2n�

1

n

d1n= ↵nd

2

n

ce qui prouve le theoreme.

6.5.4. Representation previsible => Complet

Proposition 6.5.6 Si le marche est viable, le marche est complet si et seulement sitoute martingale bornee a la propriete de representation previsible par rapport a S.

Preuve: Quitte a tout actualiser on peut supposer que Bn = 1, pour tout 0 n N .1. Supposons d’abord la propriete de representation previsible. Soit Z une v.a.

FN mesurable bornee. Alors Mn = E(Z|Fn) est une martingale bornee et MN = Z.Par representation previsible, on peut l’ecrire Mn = M

0

+ (↵ ? S)n. On pose �n =Mn � ↵nSn, alors � est previsible, car

�n = M0

+ (↵ ? S)n � ↵nSn = M0

+ (n�1X

k=1

↵k�Sk)� ↵nSn�1

.

On en deduit queMn = ↵nSn + �n

est un portefeuille autofinance. Donc l’actif Z est bien duplicable.

Page 74: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

74 Marches a temps discret, AOA, completude

2. Reciproquement, supposons le marche complet. Soit (Mn) est une martingalebornee. L’actif MN est duplicable, donc il existe un portefeuille autofinance V tel queVN = MN . Puisque Bn = 1, Vn = V

0

+ (↵ ? S)n est sous la mesure risque neutre unemartingale (locale). On a

Vn = E(VN |Fn) = E(MN |Fn) = Mn

donc Mn representable par ↵.

6.6. Modele binomial de Cox, Ross et Rubinstein

On va appliquer ce qui precede dans le modele le plus simple: le modele binomial oumodele de Cox, Ross et Rubinstein, invente pour des raisons pedagogiques, mais quis’est avere tres utile (methodes d’arbres).

6.6.1. Le modele d’arbre recombinant de CRR

On suppose qu’il existe r > 0 et une suite %n telles que

�Bn = rBn�1

, B0

= 1,

�Sn = "nSn�1

(on modelise donc les rendements), ou "n est une suite de variables aleatoires neprenant que deux valeurs b, h. Si l’horizon est fixe a N on voit que l’alea est donnepar

⌦ = {b, h}N

Il est naturel de prendre comme mesure de reference la mesure de comptage sur cetensemble par exemple (ou la probabilite uniforme, si on prefere, ce qui ne changerien). On prend F

0

= {;,⌦} et Fn = {S1

, · · · , Sn}. Remarquons que Bn = (1 + r)n.

Lemme 6.6.1 Le marche est viable si et seulement si

b < r < h.

Preuve: Si P est une mesure martingale,

Sn =Sn

Bn= (1 + r)�nSn

est une martingale sous P. On a

(1 + r)�nSn = E((1 + r)�(n+1)Sn+1

/Fn)

donc puisque Sn+1

= (1 + "n+1

)Sn,

r = E("n+1

|Fn).

Page 75: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.6 Modele binomial de Cox, Ross et Rubinstein 75

D’ou

bE(1{"n+1=b}|Fn) + hE(1{"n+1=h}|Fn) = r

et

E(1{"n+1=b}|Fn) + E(1{"n+1=h}|Fn) = 1

donc

E(1{"n+1=b}|Fn) =h� r

h� b

et

E(1{"n+1=h}|Fn) =r � b

h� b.

On doit donc avoir b < r < h

Remarquons que ce calcul montre l’unicite de P, on retrouve donc le fait que cemarche est complet (aussi consequence de la propriete de Bernoulli)

Theoreme 6.6.2 Sous la mesure martingale, les v.a. "i sont independantes de memeloi donnee par

P("1

= b) =h� r

h� b= q, P("

1

= h) =r � b

h� b= p.

Cela resulte d’un lemme general interessant:

Lemme 6.6.3 Sur une espace de probabilite (⌦,A,P), soit F est une sous tribu deA. Si X est une v.a. a valeurs dans un espace mesure (E,E) telle que pour toutefonction mesurable positive f : E ! R+

E(f(X)|F) est presque surement constante,

alors X est independante de F (et reciproquement).

Preuve: Soit A 2 F et B 2 E . Prenons f = 1A, puisque E(1A(X)|F) est presquesurement constante d’esterance egale a P(A), on a

E(1A(X)|F) = P(A)

On en deduit donc, que si B est F-mesurable,

P(B \ {X 2 A}) = E(1B1A(X))

= E(1BE(1A(X)|F)) = E(1BP(X 2 A)) = P(X 2 A)P(B).

Page 76: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

76 Marches a temps discret, AOA, completude

6.6.2. Representation previsible

On sait que ce modele a la propriete de representation previsible, puisqu’il a la pro-priete de Bernoulli. Faisons le explicitement pour avoir des formules explicites. Soitdonc (Mn) une martingale sur (⌦, (Fn),P). Posons

Tn = ("1

, · · · , "n)

On peut ecrire queMn = fn(Tn).

Puisque c’est une martingale,

E(Mn+1

|Fn) = Mn

donc, ecrivant que fn+1

(Tn+1

) = fn+1

(Tn, "n+1

),

pfn+1

(Tn, h) + qfn+1

(Tn, b) = fn(Tn) (6.2)

ce qui donnefn+1

(Tn, h)� fn(Tn)

q=

fn(Tn)� fn+1

(Tn, b)

p

Ceci s’ecrit aussi

�n+1

:=fn+1

(Tn, h)� fn(Tn)

h� r=

fn(Tn)� fn+1

(Tn, b)

r � b

On a donc�Mn+1

= fn+1

(Tn, "n+1

)� fn(Tn) = �n+1

("n+1

� r)

c’est a dire�Mn = �n("n � r).

Remarquons que (�n) est previsible. Par ailleurs

�(Sn) =Sn

Bn� Sn�1

Bn�1

= (1 + "n1 + r

� 1)Sn�1

Bn�1

="n � r

1 + rSn�1

donc

"n � r =1 + r

Sn�1

�(Sn)

et finalement

�Mn =�n(1 + r)

Sn�1

�(Sn)

Theoreme 6.6.4

�Mn =�n(1 + r)

Sn�1

�(Sn)

Page 77: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.6 Modele binomial de Cox, Ross et Rubinstein 77

Pour la section suivante il est interessant de regarder ce qui se passe si a un instantN , la variable aleatoire MN ne depend que de SN . Montrons qu’alors ceci reste vraipour tout n N . On ecrit donc MN = �N (SN ). Montrons par recurrence arriere quel’on peut ecrire, pour une fonction �n,

Mn = �n(Sn)

si n N . C’est vrai pour N , et si Mn+1

= �n+1

(Sn+1

) alors

Mn = E(�n+1

(Sn+1

)|Fn) == p�n+1

(Sn(1 + h)) + q�n+1

(Sn(1 + b))

Il su�t donc de poser

�n(s) = p�n+1

(s(1 + h)) + q�n+1

(s(1 + b))

pour bien avoir que Mn = �n(Sn). On peut dans la preuve precedente remplacer Tn

par Sn et on en deduit que �n est fonction de Sn�1

.

6.6.3. Prix d’options, Portefeuille de couverture

Considerons un actif derive ZN . On a vu que sa valeur a l’instant 0 est

Theoreme 6.6.5

Z0

=1

(1 + r)NE(ZN )

Un cas tres important est celui ou ZN est une fonction de SN . dans ce cas

Theoreme 6.6.6 Si ZN = �(SN )

Zn =1

(1 + r)N�nE(ZN |Fn) =

1

(1 + r)N�nFN�n(Sn)

ou

Fn(x) =nX

k=0

✓n

k

◆�(x(1 + h)k(1 + b)n�k)pk(1� p)n�k

Cette formule s’applique par exemple pour un Call europeen, ou ZN = (SN � K)+

ou bien un put.En terme de portefeuille autofinance, on cherche ↵n et �n de telle sorte que, si

Vn = ↵nSn + �nBn,

Vn = (1 + r)�nVn soit une martingale et

VN = ZN/BN .

Page 78: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

78 Marches a temps discret, AOA, completude

On applique les resultats de la section precedente. Par le theoreme 6.6.4

�(V/B)n =�n(1 + r)

Sn�1

�(Sn)

donc

(V/B)n =�n(1 + r)

Sn�1

(Sn) + �n

avec �n = (V/B)n � �n(1+r)˜Sn�1

(Sn) previsible, comme on l’a vu, donc

Vn =�n(1 + r)

Sn�1

Sn + �nBn

La quantite de parts de l’actif: �n(1+r)˜Sn�1

s’appelle le delta de l’option.

Comme on l’a vu dans la section precedente si ZN est fonction de SN alors �n nedepend que de Sn�1

.

6.7. Appendice: Preuve de la proposition 6.5.5

Commencons par un lemme. Le support d’une mesure µ sur R est par definition,l’ensemble des points x de R tels que µ(Vx) 6= 0 pour tout voisinage de x.

Lemme 6.7.1 Soit µ une probabilite sur R telle queR|x| dµ(x) < +1,

Rx dµ(x) =

0. Si µ n’est pas portee par deux points il existe une probabilite ⌫ equivalente a µ maisdi↵erente telle que

R|x| d⌫(x) < +1,

Rx d⌫(x) = 0

Preuve: Si le support de µ a plus de deux points il y en a au moins un positifx1

> 0 et un negatif x2

< 0 puisqueRx dµ(x) = 0. Choisissons aussi un troisieme

x3

, di↵erent de ces 2 la. On peut trouver trois voisinages I, J,K de x1

, x2

, x3

tels telsque

RI x dµ(x) < 0,

RJ x dµ(x) > 0. Pour ↵,�, � > 0 posons

⌫(dx) = [↵1I(x) + �1J(x) + �1K(x) + 1L(x)]µ(dx)

ou L est le complementaire de I [ J [K. C’est une probabilite centree siZ

[↵1I(x) + �1J(x) + �1K(x)]µ(dx) =

Z[1I(x) + 1J(x) + 1K(x)]µ(dx)

Zx[↵1I(x) + �1J(x) + �1K(x)]µ(dx) =

Zx[1I(x) + 1J(x) + 1K(x)]µ(dx)

donc si

(↵� 1)

Z

Iµ(dx) + (� � 1)

Z

Jµ(dx) + (� � 1)

Z

Kµ(dx) = 0,

(↵� 1)

Z

Ixµ(dx) + (� � 1)

Z

Jxµ(dx) + (� � 1)

Z

Kxµ(dx) = 0.

Page 79: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

6.7 Appendice: Preuve de la proposition 6.5.5 79

Le determinantRI µ(dx)

RJ xµ(dx)�

RJ µ(dx)

RI xµ(dx) est strictement positif donc

non nul. Pour tout � tres proche de 1 on peut donc trouver ↵,� > 0 solutions.

Preuve: [de la proposition 6.5.5](Bn = 1 sans perte de generalite) Par recurrencesur N . La propriete est triviale pour N = 0. Pour s’entrainer un peu, traitons le casN = 1: Il existe par hypothese une seule probabilite P pour laquelle S

0

, S1

est unemartingale. Cette propriete s’ecrit, pour a = S

0

,

a = E(S1

|F0

) = E(S1

)

Notons µ l’image de P par S1

� a. La probabilite µ sur R est centree. Si S1

prend aumoins 3 valeurs, on a vu au lemme qu’il existe ⌫ equivalente a µ centree et di↵erentede ⌫. Si � = d⌫/dµ on a, pour tout g : R ! R mesurable positive,

E(g(S1

� a)�(S1

� a)) =

Zg(x)�(x) dµ(x) =

Zg(x) d⌫(x)

Posons dQ = �(S1

� a)dP. Prenant d’abord g = 1 puis g(x) = x on voit que Q estune probabilite et que Z

S1

dQ = a

Donc S0

, S1

est aussi une martingale sous Q. Absurde. Ceci montre l’hypothese derecurrence pour N = 1.

Supposons maintenant le resultat vrai a l’ordre N�1. Comme on l’a note, ceci en-traine que (S

0

, · · · , SN�1

) ne prend qu’un nombre fini de valeurs. La loi conditionnelleest donc facile a calculer. Sur S

0

= a0

, · · · , SN�1

= aN�1

,

E(f(SN )|�(S0

, · · · , SN�1

)) = E(f(SN )|{S0

= a0

, · · · , SN�1

= aN�1

),

pour tout f mesurable borne. Si il existe (a0

, · · · , aN�1

) pour lesquels la loi condi-tionnelle de SN prend au moins 3 valeurs, par le lemme, on construit alors commeau dessus une fonction � telle que �

(a0,··· ,aN�1)(SN ) pour laquelle

E(SN � aN�1

)�(a0,··· ,aN�1)

(SN � aN�1

)|{S0

= a0

, · · · , SN�1

= aN�1

) = 0

En posant (S

0

, · · · , SN ) = �(SN � aN�1

)

si S0

= a0

, · · · , SN�1

= aN�1

et 1 sinon, on voit que pour dQ = (S0

, · · · , SN )dP,on a encore une martingale, ce qui est absurde.

Page 80: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

80 Marches a temps discret, AOA, completude

Page 81: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 7

Theorie du Portefeuille deMarkowitz

7.1. La notion d’Utilite

Considerons une experience aleatoire ! 2 ⌦, dependant d’un parametre (controle)u 2 C et donnant le gain Gu(!). En l’absence d’aleatoire la question: ”que signifiemaximiser le gain ?” est claire. On cherche maxu2C Gu.

Meme si l’on se restreint a des criteres bases sur l’esperance (et les mathematiquesde la finance montrent justement que ce n’est pas forcement ce qu’il faut faire...), laquestion n’est pas si claire. Que choisir entre maxu2C E(Gu) et maxu2C E(�(Gu)) ou �est une fonction croissante ? Par exemple, si Gu � 0 doit on preferer maxu2C E(

pGu)

? maxu2C E(Gu)? maxu2C E(G2

u) ?Dans le cas deterministe les controles u optimaux sont les memes car � est crois-

sante mais pas dans la cas aleatoire.La question se pose du choix de cette fonction � ? Elle doit evidemment etre

croissante, mais il est souvent naturel aussi de la supposer concave. Rappelons

Definition 7.1.1 Une fonction � : R ! R est convexe si

�(↵x+ (1� ↵)y) ↵�(x) + (1� ↵)�(y)

pour tout ↵ 2 [0, 1] et x, y 2 R. Elle est dite concave si �� est convexe.

Considerons un critere de choix base sur l’esperance d’une fonction � du gain G.Une telle fonction � est appelee utilite en economie. On dit qu’une fonction � traduitl’aversion pour le risque si elle favorise un gain sur par rapport a un gain aleatoirede meme esperance. On veut donc que, si G est un gain aleatoire, le critere favorisele gain X = �(E(G)) au gain Y = �(G), autrement dit E(Y ) E(X) c’est a dire

E(�(G)) �(E(G))

Page 82: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

82 Theorie du Portefeuille de Markowitz

Proposition 7.1.2 L’inegalite precedente est vraie pour toute variable aleatoire reelleG si et seulement si � est concave.

Preuve: Si cette propriete est vraie, en prenant la v.a. G egale a x avec probabilite↵ et y avec probabilite 1� ↵, ou 0 ↵ 1, on voit que

↵�(x) + (1� ↵)�(y) = E(�(G)) �(E(G)) = �(↵x+ (1� ↵)y))

donc � est concave. Reciproquement si � est concave, pour toute probabilite µ sur Rd’esperance finie,

�(

Zx dµ(x))

Z�(x) dµ(x)

En e↵et, ceci decoule de l’inegalite de Jensen que l’on va montrer en utilisant le lemmesuivant.

Lemme 7.1.3 Une fonction continue conxexe f : R ! R est l’enveloppe superieured’une famille de droites. Plus precisement si E(f) = {(a, b) 2 R; f(x) � ax+ b, 8x 2R} alors, pour tout x 2 R,

f(x) = max{ax+ b; (a, b) 2 E(f)}

Preuve: L’ensemble C = {(x, y) 2 R2; y � f(x)} etant un ensemble convexe ferme,le resulte du theoreme de projection.

Proposition 7.1.4 (Inegalite de Jensen) Si f : R ! R est convexe, pour toutev.a. X telle que X et f(X) sont integrables, ou positives,

f(E(X)) E(f(X)).

Preuve: Si (a, b) 2 E(f), f(X) � aX + b donc E(f(X)) � aE(X) + b donc

E(f(X)) � max{aE(X) + b; (a, b) 2 E(f)} = f(E(X))

On montre exactement de la meme facon

Proposition 7.1.5 (Inegalite de Jensen pour l’esperance conditionnelle) Sif : R ! R est convexe, pour toute v.a. X telle que X et f(X) sont integrables, oupositives,

f(E(X|F)) E(f(X)|F).

On voit donc qu’une fonction d’utilite sera en general choisie croissante et concave.Un exemple typique est donne pour x � 0 par

�(x) = x↵

avec 0 < ↵ 1 ou bien �(x) = log(x).

Page 83: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

7.2 Multiplicateurs de Lagrange 83

7.2. Multiplicateurs de Lagrange

La cadre naturel de cette section serait celui des varietes, mais on se contente ici ducas simple. Etant donne une fonction

g : Rn ! R

et des fonctions f1

, · · · , fd : Rn ! R il s’agit de regarder, localement,

max{g(x);x 2 Rd, f1

(x) = f2

(x) = · · · = fd(x) = 0}.

Rappelons qu’une fonction f : Rn ! R est dite di↵erentiable en x si il existe uneforme lineaire dfx sur Rn telle que

f(x+ h) = f(x) + dfx(h) + o(khk)

ou o(khk)/khk ! 0 quand h ! 0. Si on note rf le vecteur gradient de composantes(rf)i =

@f@xi

on a dfx(h) = hrf(x), hi.

Theoreme 7.2.1 Si g a sur l’ensemble V = {x 2 Rn; f1

(x) = f2

(x) = · · · = fd(x) =0} un extremum local en x

0

2 V , si g et f1

, · · · , fd sont di↵erentiables au voisinagede x

0

2 Rn et si les vecteurs rf1

(x0

), · · · ,rfd(x0) sont lineairement independants,il existe �

1

, · · · ,�d 2 R, appeles multiplicateurs de Lagrange, tels que

rg(x0

) =dX

k=1

�krfk(x0).

Preuve: La preuve n’est pas triviale et utilise un argument de calcul di↵erentiel(genre theoreme des fonctions implicites): L’idee de la preuve est la suivante: si il ya un extremum sur V en x

0

, la di↵erentielle de g en x0

s’annule sur l’espace tangenta V en x

0

. Or cet espace est exactement {v 2 Rn; hrfk(x0), vi = 0, k = 1, · · · , d}.Donc rg(x

0

) doit etre orthogonal a l’orthogonal de l’espace vectoriel engendre parrfk(x0), k = 1, · · · , d. Il est donc dans cet espace.⇤

Pour calculer des extremas d’esperances, on peut etre amene a deriver sous lesigne somme.

Theoreme 7.2.2 (thm de derivation sous l’integrale) Soit O un (petit) inter-valle ouvert convexe de Rd, f : O ⇥ E ! R ou (E, E , µ) est un espace mesure. Onsuppose que pour tout y 2 E, la fonction x 2 O 7! f(x, y) est di↵erentiable et qu’ilexiste une fonction g : E ! R integrable telle que

supx2O

krxf(x, y)k g(y).

Si y 7! f(x, y) est integrable, alors, x 7!Rf(x, y) dµ(y) est diferentiable et

rx

Zf(x, y) dµ(y) =

Zrxf(x, y) dµ(y)

Page 84: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

84 Theorie du Portefeuille de Markowitz

Preuve: Par le theoreme de la moyenne (ou accroissements finis), pour tout x 2 Osi x+ h 2 O

|f(x+ h, y)� f(x, y)| sup0t1

| ddtf(x+ th, y)| g(y)khk

On a donc,

1

khk |Z

f(x+ h, y) dµ(y)�Z

f(x, y) dµ(y)�Zhrxf(x, y), hi dµ(y)|

Z

1

khk |f(x+ h, y)� f(x, y)� hrxf(x, y), hi| dµ(y)

Le terme sous la deuxieme integrale est majore par 2g(y), donc tend vers 0 par letheoreme de Lebesgue domine.

7.3. Theorie du portefeuille de Markowitz

Un investisseur dispose d’une fortune V0

a l’instant 0, qu’il veut ”placer” jusqu’al’instant 1 (l’unite de temps est ici par exemple le mois ou l’annee). Il a acces ad + 1 actifs aleatoires, A

0

, A1

, · · · , Ad de rendement R0

, R1

, · · · , Rd (qui sont doncdes v.a.), par exemple des actions, des obligations, etc... Par definition un produit ale rendement R sur une periode de temps donnee, si la somme x au temps 0 donnex(1+R) a la fin de cette periode. Pour des raisons qui vont apparaitre bientot, il estcommode de supposer que l’actif A

0

est sans risque, autrement dit que R0

est constant(pas aleatoire). L’investisseur cherche a faire, sur une seule periode de temps (doncpas de dynamique pour l’instant), un portefeuille avec ces di↵erents actifs. C’est, pardefinition, une combinaison lineaire

V0

= ↵0

A0

+ ↵1

A1

+ · · ·+ ↵dAd

de ces actifs. Le portefeuille vaut donc au temps 1,

V1

= ↵0

A0

(1 +R0

) + ↵1

A1

(1 +R1

) + · · ·+ ↵dAd(1 +Rd)

et le rendement G du portefeuille est donc

G =V1

� V0

V0

=↵0

A0

R0

+ ↵1

A1

R1

+ · · ·+ ↵dAdRd

V0

.

On note xk = ↵kAk/V0

la proportion de la fortune V0

investie dans l’actif k. On adonc

1 = x0

+ x1

+ · · ·+ xd

etG = x

0

R0

+ x1

R1

+ · · ·+ xdRd.

Page 85: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

7.3 Theorie du portefeuille de Markowitz 85

On posera x = (x1

, · · · , xd)⇤, attention sans x0

.Par definition le portefeuille de Markowitz est celui qui minimise la variance du

rendement du portefeuille, pour une esperance de ce rendement fixee.Dans la suite on note R = (R

1

, · · · , Rd)⇤ donc R est un vecteur colonne (attentionla aussi que R

0

n’apparait pas) et on introduit le vecteur d’esperance et la matricede covariance

E(R),� = E((R� E(R))(R� E(R))⇤

On note 1 le vecteur de Rd dont toutes les composantes sont egales a 1, 1 =(1, · · · , 1)⇤, et on pose

R = E(R), S = E(R)�R0

1.

7.3.1. Cas sans taux fixe

Commencons par considerer le cas ou il n’y a pas d’actif A0

au taux fixe R0

. On aalors

x1

+ x2

+ · · ·+ xd = 1

donc x⇤1 = 1. On a R = E(R), G = x⇤R, donc

E(G) =dX

i=1

xiE(Ri) = x⇤R, V ar(G) = x⇤�x.

On supposera que � est inversible, ce qui signifie que les produits sont diversifies(aucun n’est combinaison lineaire des autres). On pose

a = 1⇤��1R, b = R⇤��1R, c = 1⇤��11, d = bc� a2

(remarque b, c > 0 et par Cauchy Schwarz d � 0 ).

Proposition 7.3.1 Si � est inversible et d > 0, a esperance fixee E(G) = m, et sanstaux fixe, le portefeuille de variance V ar(G) minimale est obtenu pour

x = ���1R+ µ��11

et est de variance

�2 = �m+ µ

avec

� =cm� a

d, µ =

b� am

d.

Preuve: Nous cherchons donc

minx⇤�x, x⇤R = m,x⇤1 = 1.

Page 86: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

86 Theorie du Portefeuille de Markowitz

Pour l’esthetique, pour g(x) = x⇤�x2

, f1

(x) = x⇤R � m, f2

(x) = x⇤1 � 1, on cherchemin g sur {f

1

= f2

= 0}. Si le minimum est atteint en x, il existe des multiplicateursde Lagrange � et µ tels que

rg(x) = �rf1

(x) + µrf2

(x)

Ce qui s’ecrit�x = �R+ µ1

d’oux = ���1R+ µ��11.

On a de plus x⇤R = m et x⇤1 = 1, donc la variance mimum est

x⇤�x = x⇤(�R+ µ1) = �m+ µ.

Etm = x⇤R = �R⇤��1R+ µ1⇤��1R = �b+ µa

avec1 = x⇤1 = �R⇤��11 + µ1⇤��11 = �a+ µc

ce qui donne � = cm�ad , µ = b�am

d .

7.3.2. Frontiere de Markowitz

Regardons la courbe obtenue par les couples (Ecart type,Esperance) de tous les porte-feuilles optimaux. On a

E(G) = m = x⇤R, V ar(G) = x⇤�x

avecx⇤�x = x⇤(�R+ µ1) = �m+ µ.

Donc, en posant �2 = V arG,

�2 =cm� a

dm+

b� am

d=

cm2 � 2am+ b

d

ce que l’on peut reecrire sous la forme

c�2 � c2(m� a/c)2

d= 1.

Dans le plan de coordonnees (�,m), c’est l’equation d’une hyperbole de centre (0, a/c)et d’asymptotes

m =a

c+

rd

c�,m =

a

c�

rd

c�.

L’ensemble des portefuilles optimaux, appellee frontiere e�cace, est la branche superieurede l’hyperbole.

Page 87: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

7.3 Theorie du portefeuille de Markowitz 87

7.3.3. Avec un actif sans risque, a taux fixe, Theorie de Tobin

On considere le cas ou x0

n’est pas necessairement nul. Pour tout choix de x =(x

1

, · · · , xd) on peut alors constituer un portefeuille en posant

x0

= 1�dX

k=1

xk.

Il n’y a donc plus la contrainte x⇤1 = 1.Puisque

G = x0

R0

+ x1

R1

+ · · ·+ xdRd

on a

E(G) = x0

R0

+ x⇤E(R) = (1� x⇤1)R0

+ x⇤E(R) = R0

+ x⇤(E(R)�R0

1)

donc (rappelons que S = E(R)�R0

1),

E(G) = R0

+ x⇤S.

Par ailleurs, puisque R0

est constant,

V ar(G) = x⇤�x.

Theoreme 7.3.2 Le portefeuille G d’esperance E(G) = m fixee et de variance min-imum �2 est donne par

x = ���1S,� =m�R

0

S⇤��1S,�2 =

(m�R0

)2

S⇤��1S.

Preuve: Nous cherchons donc minx⇤�x sur l’ensemble x⇤S�m+R0

= 0. Comme audessus, il existe un multiplicateur de Lagrange � tel que, au point x ou le minimumest atteint,

�x = �S, x⇤S = m�R0

donc,x = ���1S.

En remplacant, �S⇤��1S = m�R0

donc

� =m�R

0

S⇤��1S

La variance du portefeuille optimal est

V ar(G) = �2 = x⇤�x = x⇤�S = �(m�R0

)

Page 88: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

88 Theorie du Portefeuille de Markowitz

donc

�2 =(m�R

0

)2

S⇤��1S.

On voit donc que

m = R0

+ �pS⇤��1S

C’est l’equation d’une droite. Un seul parametre donc: �.Sur un dessin, dans le plan, (ecart type, esperance) on peut voir que l’on parcoure

la droite passant par (0, R0

) et tangente a la frontiere e�ciente.

On voit qu’un seul portefeuille d’actifs risques (le portefeuille tangent) intervientdans la solution du probleme.

Figure 7.1: Dessin de J.P. Desquilbet, avec rf = R0

Definition 7.3.3 Un portefeuille est dit MV e�cace si il n’existe pas d’autre porte-feuille de meme esperance et de variance plus petite.

Page 89: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

7.3 Theorie du portefeuille de Markowitz 89

Il resulte du theoreme qu’un portefeuille est MV e�cace ssi il est de la forme���1R.

Question: Un portefeuille est-il MV e�cace si il n’existe pas d’autre portefeuillede meme variance et d’esperance plus grande ?

Page 90: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

90 Theorie du Portefeuille de Markowitz

Page 91: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 8

Controle et filtrage lineaireoptimal

8.1. Le cadre du controle lineaire

L’un des modeles les plus utilises est celui du controle lineaire quadratique avec bruitsgaussiens (Linear Quadratic Gaussian, Linear Regulator Gaussian). On considere lesysteme:

Xn+1

= AXn +BUn +Wn, n 2 N, X0

= x,

ou

1. Xn 2 Rd,

2. A est une matrice reelle d⇥ d ,

3. U 2 Rp, B est une matrice reelle d⇥ p et

4. Wn, n 2 N, est une suite de variable aleatoires gaussiennes independantes dememe loi N(0, V ), c’est a dire centrees de matrice de covariance V .

Les vecteurs sont identifies a des matrices colonnes.

Pour le controle, on utilisera essentiellement le fait que les variables aleatoires Wn

sont de carre integrable, centrees non correlees, de meme matrice de covariance V ,c’est a dire en notant W ⇤ le transpose de W , que

E(Wn) = 0,

E(WnW⇤n) = V, et E(WnW

⇤m) = 0 si m 6= n.

En particulier, V peut etre nul, auquel cas Wn = 0 identiquement et on traite alorsle cas du controle lineaire deterministe. Le cout est

E(N�1X

k=0

c(Xk, Uk) + �(XN )),

Page 92: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

92 Controle et filtrage lineaire optimal

ou c et � sont des formes quadratiques de la forme suivante:

c(x, u) = x⇤Qx+ u⇤Ru,

�(x) = x⇤�x,

ou Q et � sont donc des matrices d ⇥ d symetriques semi-definies positives et R estune matrice symetrique p⇥ p definie positive.

Profitons en pour faire un bref rappel sur les matrices symetriques.

8.2. Matrices symetriques

Definition 8.2.1 Une matrice reelle M de taille d ⇥ d, est dite symetrique si elleest egale a sa transposee M⇤. Elle est, de plus, semi-definie positive si,

x⇤Mx � 0, pour tout x 2 Rd,

et definie positive si

x⇤Mx > 0, pour tout x 6= 0, x 2 Rd.

On note Pd l’ensemble des matrices semi-definies positives d’ordre d.

Toute matrice d’ordre d symetrique M est diagonalisable: plus precisement ilexiste une matrice orthogonale U d’ordre d (c’est a dire verifiant U⇤ = U�1) et unematrice diagonale D (c’est a dire que Di,j = 0 si i 6= j) telle que

M = UDU⇤.

Les valeurs propres �1

, · · · ,�d, de M sont les elements de la diagonale de D et sontreels.

La matrice symetrique M est semi-definie positive si

�1

� 0, · · · ,�d � 0,

et M est definie positive si et seulement

�1

> 0, · · · ,�d > 0.

On voit donc qu’une matrice symetrique semi-definie positive est definie positivesi et seulement si elle est inversible. Nous allons utiliser:

Lemme 8.2.2 Soit S une matrice symetrique definie positive d’ordre p et y 2 Rp

fixe. Le minimum sur u 2 Rp, de la forme quadratique

2u⇤y + u⇤Su

est egal a �y⇤S�1y et est atteint en u = �S�1y.

Page 93: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8.3 Programmation dynamique 93

Preuve: Il su�t de calculer la di↵erentielle. On peut aussi proceder directement:Pour tout h 2 Rp on a (en remarquant que u⇤Sh = h⇤Su car ce sont des reels)

2(u+ h)⇤y + (u+ h)⇤S(u+ h) = 2u⇤y + u⇤Su+ h⇤Sh+ 2h⇤(Su+ y).

En remplacant h par th ou t est reel on voit que ceci est une fonction de h minimaleen h = 0 si pour tout t 2 R,

t2h⇤Sh+ 2th⇤(Su+ y) � 0

donc si et seulement si h⇤(Su+y) = 0 pour tout h 2 Rp donc Su+y = 0 et u = �S�1yet alors

2u⇤y + u⇤Su = �2y⇤S�1y + (S�1y)⇤S(S�1y) = �y⇤S�1y.

Lemme 8.2.3 Si W est un vecteur centre de matrice de covariance V , on a

E(W ⇤�W ) = tr(�V ).

Preuve: Puisque W ⇤�W est un reel, il est egal a sa trace et donc,

E(W ⇤�W ) = E(tr(W ⇤�W )) = E(tr(�WW ⇤)) = tr�E(WW ⇤) = tr(�V )

8.3. Programmation dynamique

Nous cherchons

J(x) = min⌫

E⌫x(N�1X

k=0

c(Xk, Uk) + �(XN )),

le minimum etant pris sur toutes les strategies ⌫ = (⌫0

, · · · , ⌫N�1

).On est dans le cadre de la programmation dynamique, en notant P (u)(x, .) la loi

de Ax+Bu+W ou W est une v.a. de loi N(0, V ). Dans cette situation, l’algorithmeadmet une solution explicite. En e↵et, tout d’abord,

JN (x) = x⇤�x = x⇤�Nx

en posant �N = �. Par le lemme 8.2.3

E(JN (Ax+Bu+WN�1

)) = (Ax+Bu)⇤�N (Ax+Bu) + tr(�NV ).

Ensuite,

JN�1

(x) = minu

{x⇤Qx+ u⇤Ru+

ZJN (y)P (u)(x, dy)}

= minu

{x⇤Qx+ u⇤Ru+ E(JN (Ax+Bu+WN�1

))}

= minu

{x⇤Qx+ u⇤Ru+ (Ax+Bu)⇤�N (Ax+Bu) + tr(�NV )}.

= minu

{x⇤(Q+A⇤�NA)x+ u⇤(R+B⇤�NB)u+ 2u⇤B⇤�NAx+ tr(�NV )}

= tr(�NV ) + x⇤(Q+A⇤�NA)x+minu

{u⇤(R+B⇤�NB)u+ 2u⇤B⇤�NAx}.

Page 94: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

94 Controle et filtrage lineaire optimal

En appliquant le lemme avec S = R + B⇤�NB, et y = B⇤�NAx on voit que ceminimum est egal a

JN�1

(x) = x⇤�N�1

x+ tr(�NV )

pour�N�1

= Q+A⇤�NA� (A⇤�NB)(R+B⇤�NB)�1(B⇤�NA)

et est atteint enu = KN�1

x

pourKN�1

= �(R+B⇤�NB)�1(B⇤�NA).

Remarquons que, en utilisant l’expression de JN�1

(x) en fonction du u optimal, eten remplacant u par sa valeur, on obtient que

x⇤�N�1

x = x⇤(Q+A⇤�NA)x+ u⇤(R+B⇤�NB)u+ 2u⇤B⇤�NAx

pour u = KN�1

x donc que

�N�1

= Q+K⇤N�1

RKN�1

+ (A+BKN�1

)⇤�N (A+BKN�1

) (8.1)

Ceci montre que �N�1

est semi definie positive, car c’est la somme de matrices semidefinies positives. Comme a une constante pres, JN�1

est de la meme forme que JN ,on peut reprendre le meme calcul pour obtenir JN�2

, etc... (ou plus rigoureusementen faisant une recurrence retrograde) Finalement on obtient

Theoreme 8.3.1 Posons (Transformation de Riccati)

⇢(�) = Q+A⇤�A� (A⇤�B)(R+B⇤�B)�1(B⇤�A)

On considere la suite de matrices definies par les equations (retrogrades) suivantes,�N = � puis, pour n < N ,

�n = ⇢(�n+1

)

Alors

Jn(x) = x⇤�nx+NX

k=n+1

tr(�kV )

et le controle optimal est Un = KnXn ou

Kn = �(R+B⇤�n+1

B)�1(B⇤�n+1

A).

Si, par exemple, d = p = 1, on obtient donc, pour tout 0 n < N ,

Un = � ba�nR+ b2�n

Xn, Jn(x) = �nx2 +

NX

k=n+1

�kV,

ou �n est definie par l’equation sur R+

�n =QR+ (b2Q+Ra2)�n+1

R+ b2�n+1

+R, 0 n < N,

et �N = �. Remarquons l’apparition d’une transformation homographique a coe�-cients positifs.

Page 95: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8.4 Variantes 95

8.4. Variantes

8.4.1. Coe�cients dependant du temps

De nombreuses variantes sont possibles. Deja on peut supposer que les matricesA,B,Q,R, V et donc c dependent de n. On aura le meme type de resultat avecla meme demonstration. Il su�ra de remplacer l’equation �n = ⇢(�n+1

) par �n =⇢n(�n+1

) ou

⇢n(�) = Qn +A⇤n�An � (A⇤

n�Bn)(Rn +B⇤n�Bn)

�1(B⇤n�An)

et chaque terme tr(�nV ) par tr(�nVn�1

).

8.4.2. Correction de trajectoire

Une autre variante utile est la suivante. Imaginons que l’on veut que Xn soit proched’un vecteut ⇠n connu a l’avance (par exemple une trajectoire nominale ...). Dans cecas on cherchera a rendre Xn � ⇠n petit, donc a minimiser le critere

E(N�1X

k=0

ck(Xk, Uk) + �(XN � ⇠N ))

ou ck(x, u) = (x�⇠k)⇤Q(x�⇠k)+u⇤Ru. On veut se ramener a la situation precedente.Pour cela on pose Xk = Xk � ⇠k. Le critere est bien de la forme

E(N�1X

k=0

ck(Xk, Uk) + �(XN ))

mais maintenant, on a

Xn+1

= AXn +BUn +Wn +A⇠n � ⇠n+1

Une facon de faire est d’augmenter de un la dimension de l’espace des etats, en posant

Xn =

✓Xn

1

En e↵et introduisons les matrices

An =

✓A vn0 1

◆, B =

✓B

0 · · · 0

◆, Wn =

✓Wn

0

ou vn = A⇠n � ⇠n+1

. Cette equation s’ecrit

Xn+1

= AnXn + BUn + Wn

on est donc ramene au cas precedent.Application a la poursuite...

Page 96: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

96 Controle et filtrage lineaire optimal

8.5. Le probleme du filtrage

8.5.1. Gaussiennes

Une famille gaussienne est une famille Zi, i 2 I, de variables aleatoires telle que toutecombinaison lineaire finie

Pnk=1

�kZik suit une loi normale. On parlera de vecteur oude processus gaussien.

Travaillons dans Rd et considerons les vecteurs comme des vecteurs colonnes. Soitm 2 Rd et Q une matrice symetrique semi-definie positive d’ordre d. Un vecteurgaussien X 2 Rd de loi N(m,Q) est un vecteur aleatoire dont la transformee deFourier verifie

E(ei�⇤X) = ei�⇤me�

�⇤Q�2

pour tout � 2 Rd. AlorsE(X) = m

etVar(X) = Q

ou l’on note Var(X) la matrice de covariance de X definie par

Var(X) = E((X � E(X))(X � E(X))⇤)

Reciproquement si X est un vecteur d’esperance m et de matrice de covariance Qtel que toutes les combinaisons lineaires �⇤X,� 2 Rd, des composantes de X ont deslois gaussiennes, la formule precedente montre que X est un vecteur gaussien de loiN(m,Q). Ecrivons X = (U, V ) ou U 2 Rp et V 2 Rq. Supposons que, pour toutk, j, 1 k p, 1 j q,

Cov(Uk, Vj) = E((Uk � E(Uk))(Vj � E(Vj)) = 0

ou Uk, Vj sont les composantes de U et V . Alors,

Q =

✓Var(U) 0

0 Var(V )

et donc, si mU = E(U) et mV = E(V ) et si a 2 Rp, b 2 Rq, puisque

(a, b)⇤X = (a, b)⇤(U, V ) = a⇤U + b⇤V

on a

E(ei(a⇤U+b⇤V )) = ei�⇤me�

�⇤Q�2

= ei(a⇤mU+b⇤mV )e�

a⇤Var(U)a2 e�

b⇤Var(V )b2

= eia⇤mU e�

a⇤Var(U)a2 eib

⇤mV e�b⇤Var(V )b

2

= E(eia⇤U )E(eib⇤V )

La transformee de Fourier du couple (U, V ) est donc le produit des transformees deFourier de U et de V , donc U et V sont independantes. On a donc montre la partienon triviale du theoreme fondamental suivant:

Page 97: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8.5 Le probleme du filtrage 97

Theoreme 8.5.1 Si le vecteur (U, V ) est gaussien une condition necessaire et su↵-isante pour que U et V soient independantes est que toutes leur composantes verifient

Cov(Uk, Vj) = 0

Considerons maintenant un grand vecteur gaussien

(X1

, X2

, · · · , Xn, Z)

et cherchons la loi conditionnelle de Z sachant �(X1

, · · · , Xn). Les v.a. X1

, · · · , Xn, Zsont de carre integrable (car gaussiennes) donc dans L2(⌦,A,P). Notons H le sousespace de L2 de dimension finie engendre par les fonctions X

1

, · · · , Xn et la fonctionconstante 1 et notons Z la projection orthogonale de Z sur H (dans l’espace deHilbert L2 muni du produit scalaire hU, V i = E(UV )).

Lemme 8.5.2 La variable aleatoire Z � Z est independante de (X1

, · · · , Xn) de loigaussienne centree et

Z = E(Z|�(X1

, · · · , Xn)).

Preuve: Par definition de la projection dans L2, Z est le seul vecteur de la formeZ = �

0

+P

k=1

�kXk tel que

hZ � Z, 1i = E(Z � Z) = 0

et pour tout k = 1, · · · , n

hZ � Z,Xki = E((Z � Z)Xk) = 0

donc, vu la ligne precedente

Cov(Z � Z,Xk) = 0.

Il su�t donc d’appliquer le theoreme pour obtenir l’independance, enfin

E(Z|�(X1

, · · · , Xn) = E(Z � Z|�(X1

, · · · , Xn) + E(Z|�(X1

, · · · , Xn) = Z.

Proposition 8.5.3 La loi conditionnelle de Z sachant �(X1

, · · · , Xn) est la loi gaussi-enne d’esperance (conditionnelle) la projection orthogonale de Z sur l’espace vectorielengendre par 1, X

1

, · · · , Xn.

Preuve: Par exemple en utilisant la transformee de Fourier; en ecrivant que Z =Z + Z � Z

E(ei�Z |�(X1

, · · · , Xn)) = ei�ˆZE(ei�(Z� ˆZ)|�(X

1

, · · · , Xn)) = ei�ˆZE(ei�(Z� ˆZ))

puique Z est mesurable par rapport a �(X1

, · · · , Xn) alors que Z�Z est independantde cette tribu. Par ailleurs Z � Z est gaussienne comme combinaison lineaire duvecteur gaussien (X

1

, · · · , Xn, Z). Enfin, Zn+1

�Xn+1

= A(Zn�Xn)+BUn est bienFn mesurable. ⇤

Tout ceci s’etend au cas vectoriel en projetant sur les composantes des vecteursXk.

Page 98: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

98 Controle et filtrage lineaire optimal

8.6. Le Filtre de Kalman Bucy

8.6.1. Le Probleme

On considere les equations, pour n � 0,

Xn+1

= AXn + "n+1

,

Yn = CXn + ⌧n,

ou Xn, "n sont des v.a. de Rd, Yn et ⌧n des v.a. de Rp, A est une matrice d⇥ d et Cune matrice p⇥ d. On suppose que

• X0

, "1

, "2

, · · · , ⌧0

, ⌧1

, · · · sont des vecteurs gaussiens independants,

• "n est un vecteur centre de matrice de covariance Q,

• ⌧n est centre de matrice de covariance R inversible,

• Les matrices A et C sont deterministes.

Le but du filtre de Kalman Bucy est de calculer

Xn = E(Xn|�(Y0, · · · , Yn))

etPn = Var(Xn � Xn),

ou on note Var la matrice de covariance, en utilisant Xn�1

, Pn�1

et Yn, donc de faconrecursive.

Remarquons que les vecteurs

(⌧0

, X0

, Y0

, "1

, ⌧1

, X1

, Y1

, "2

, ⌧2

, X2

, Y2

, · · · , "n, ⌧n, Xn, Yn)

sont gaussiens.

8.6.2. Decomposition a l’aide de l’innovation

On introduit

• La meilleure approximation X�n qu’on peut faire de Xn au temps n� 1:

X�n = E(Xn/�(Y0, . . ., Yn�1

)),

• La matrice P�n de la covariance de l’erreur estimee

P�n = Var(Xn � X�

n ),

Page 99: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8.6 Le Filtre de Kalman Bucy 99

• L’innovation Jn apportee par la connaissance de Yn :

Jn = Yn � E(Yn|�(Y0, · · · , Yn�1

)).

Par le lemme suivant Jn mesure bien la partie de Yn qui apporte une nouvelle infor-mation, donc qui ”innove”).

Lemme 8.6.1 Jn est independant de Y0

, · · · , Yn�1

et gaussienne.

On verifie tres facilement les relations suivantes,

Lemme 8.6.2X�

n = AXn�1

, (8.2)

Jn = Yn � CX�n = C(Xn � X�

n ) + ⌧n, (8.3)

P�n = APn�1

A⇤ +Q. (8.4)

Remarquons que Jn est orthogonal aux vecteurs 1, Y0

, . . ., Yn�1

et que

�(Y0

, · · · , Yn�1

, Yn) = �(Y0

, · · · , Yn�1

, Jn).

On en deduit (en utilisant le lemme qui suit) que Xn est la somme de la projec-tion orthogonale de Xn sur le sous espace de L2 engendre par les composantes desvecteurs 1, Y

0

, · · · , Yn�1

, c’est a dire X�n , et de sa projection sur celui engendre par

les composantes de Jn. Autrement dit il existe une matrice Kn, d’ordre d⇥p, appeleela matrice de gain de Kalman, telle que

Xn = X�n +KnJn,

et X�n et KnJn sont orthogonaux (Jn est donc bien une ”innovation”).

Lemme 8.6.3 Soient H1

et H2

deux sous espaces vectoriels fermes orthogonaux d’unespace de Hilbert H et H = H

1

+H2

. Notons ⇡,⇡1

,⇡2

les projections orthogonales surH,H

1

et H2

. Alors⇡ = ⇡

1

+ ⇡2

.

Preuve: Soit x 2 H. Verifions que ⇡1

(x) + ⇡2

(x) est bien la projection de x sur H.D’abord il est clair que ⇡

1

(x) + ⇡2

(x) 2 H1

+H2

= H. Ensuite, pour tout h1

2 H1

hx� ⇡1

(x) + ⇡2

(x), h1

i = hx� ⇡1

(x), h1

i+ h⇡2

(x), h1

i = 0

car hx� ⇡1

(x), h1

i = 0 puisque ⇡1

(x) est la projection de x sur H1

et h⇡2

(x), h1

i = 0car H

1

et H2

sont orthogonaux. De meme hx � ⇡1

(x) + ⇡2

(x), h2

i = 0 pour touth2

2 H2

. Donchx� ⇡

1

(x) + ⇡2

(x), h1

+ h2

i = 0

ce qui prouve bien que ⇡1

(x) + ⇡2

(x) = ⇡(x).

Page 100: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

100 Controle et filtrage lineaire optimal

8.6.3. Calcul de la matrice de gain

Puisque KnJn est la projection orthogonale de Xn sur Jn,

E((Xn �KnJn)J⇤n) = 0

doncE(XnJ

⇤n) = KnE(JnJ⇤

n). (8.5)

Comme Jn est centre et independant de �(Y0

, · · · , Yn�1

), avec (8.3)

E(XnJ⇤n) = E((Xn � X�

n )J⇤n) = E((Xn � X�

n )(C(Xn � X�n ) + ⌧n)

⇤) = P�n C⇤

doncKnE(JnJ⇤

n) = P�n C⇤. (8.6)

On a aussi

E(JnJ⇤n) = E((C(Xn � X�

n ) + ⌧n)(C(Xn � X�n ) + ⌧n)

⇤)

= CE((Xn � X�n )(Xn � X�

n ))C⇤ + E(⌧n⌧⇤n) = CP�n C⇤ +R.

On en tire Kn (rappelons que l’on a suppose R inversible):

Kn = E(XnJ⇤n)E(JnJ⇤

n)�1 = P�

n C⇤(CP�n C⇤ +R)�1. (8.7)

Pour terminer, calculons Pn :

Pn = E((Xn � Xn)(Xn � Xn)⇤)

= E((Xn � X�n �KnJn)(Xn � X�

n �KnJn)⇤)

= E((Xn � X�n ))(Xn � X�

n )⇤)� 2E((Xn � X�n )(KnJn)

⇤) + E(KnJn(KnJn)⇤)

= E((Xn � X�n ))(Xn � X�

n )⇤)� 2E(Xn(KnJn)⇤) + E(KnJn(KnJn)

⇤)

= P�n �KnE(JnJ⇤

n)K⇤n

= P�n �KnCP�

n

ou l’on a utilise que X�n et KnJn sont orthogonaux, les relations (8.5) et (8.6).

8.6.4. L’algorithme

En resume, l’algoritme est le suivant:

Theoreme 8.6.4 (Kalman-Bucy)

P�n = APn�1

A⇤ +Q (Calcul de la covariance de l’erreur estimee)

Kn = P�n C⇤(CP�

n C⇤ +R)�1 (Calcul de la matrice de gain de Kalman )

Pn = P�n �KnCP�

n (Calcul de la covariance de l’erreur )

Xn = AXn�1

+Kn(Yn�CAXn�1

) ( Utilisation de la nouvelle information)

Il faut disposer d’une condition initiale. Les trois premieres etapes sont deterministeset peuvent etre preprogrammees.

Page 101: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8.7 Controle avec information imparfaite 101

8.6.5. Equation de Riccati

Rappelons l’equation de Riccati du controle:

�n = Q+A⇤�n+1

A� (A⇤�n+1

B)(R+B⇤�n+1

B)�1(B⇤�n+1

A)

Posons, pour R et Q fixes,

%(A,B)

(�) = Q+A⇤�A� (A⇤�B)(R+B⇤�B)�1(B⇤�A).

Regardons l’equation satisfaite par P�n ,

P�n+1

= APnA⇤ +Q = A(P�

n �KnCP�n )A⇤ +Q

= Q+AP�n A⇤ �AKnCP�

n A⇤

avecKn = P�

n C⇤(CP�n C⇤ +R)�1

ce qui s’ecrit aussi, puisque P�n est symetrique,

P�n+1

= Q+AP�n A⇤ �AP�

n C⇤(CP�n C⇤ +R)�1CPnA

C’est donc de la formeP�n+1

= %(A⇤,C⇤

)

(P�n ).

On obtient donc l’equation de Riccati en remplacant A par A⇤ et B par C⇤.

8.7. Controle avec information imparfaite

On considere le systeme suivant, pour n � 0,

Zn+1

= AZn +BUn + "n+1

,

Tn = CZn + ⌧n,

ou Un 2 Rr, B est une matrice reelle d⇥ r avec Z0

= x0

, (ou x0

est une constante),Zn 2 Rd, Tn 2 Rp, A est une matrice d⇥d et C une matrice p⇥d . "

1

, "2

, · · · , ⌧1

, ⌧2

, · · ·sont des vecteurs gaussiens independants, "n est centre de matrice de covariance Q,⌧n est centre de matrice de covariance R inversible. On cherche a determiner

minE(N�1X

k=0

(Z⇤kSZk + U⇤

k⌃Uk) + �(ZN )),

ou S est une matrice d ⇥ d symetrique semi-definie positive et ⌃ est une matricesymetrique r ⇥ r definie positive, le minimum etant pris sur l’ensemble des vecteursU0

, · · · , UN�1

tels que U0

est constant et Un est Fn mesurable ou

Fn = �(T0

, · · · , Tn),

Page 102: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

102 Controle et filtrage lineaire optimal

pour n � 0. La raison pour laquelle on suppose que Un est Fn-mesurable, est quel’on observe seulement Fn et il est naturel de ne pouvoir utiliser que l’observation.

On considere aussi les equations, X0

= x0

et, pour n � 0,

Xn+1

= AXn + "n+1

, Yn = CXn + ⌧n

ou Xn, "n sont des v.a. de Rd, Yn et ⌧n des v.a. de Rp, avec les memes v.a. ("n, ⌧n)qu’au dessus. On a vu que

Xn = E(Xn|�(Y0, · · · , Yn)), Pn = Var(Xn � Xn),

verifie

Pn = P�n �KnCP�

n , ou P�n = APn�1

A⇤ +Q,Kn = P�n C⇤(CP�

n C⇤ +R)�1.

Lemme 8.7.1 Zn �Xn est Fn�1

mesurable et Fn = �(Y0

, · · · , Yn).

Preuve: Remarquons que

Zn �Xn = A(Zn�1

�Xn�1

) +BUn�1

Tn � Yn = C(Zn �Xn) = CA(Zn�1

�Xn�1

) + CBUn�1

On a donc T0

� Y0

= C(Z0

�X0

) = 0. Donc �(T0

) = �(Y0

). Ensuite, supposons parrecurrence que

Fn�1

= �(T0

, · · · , Tn�1

) = �(Y0

, · · · , Yn�1

)

et que Zn �Xn est Fn�1

-mesurable. Alors

Tn � Yn = C(Zn �Xn) = A(Zn�1

�Xn�1

) +BUn�1

est aussi Fn�1

mesurable, donc Tn 2 �(Fn�1

, Yn), ce qui montre que �(T0

, · · · , Tn) ⇢�(Y

0

, · · · , Yn) et Yn 2 �(Fn�1

, Tn), ce qui montre que �(Y0

, · · · , Yn) ⇢ �(T0

, · · · , Tn).Enfin, Zn+1

�Xn+1

= A(Zn �Xn) +BUn est bien Fn mesurable. ⇤

On pose

Zn = E(Zn|Fn).

Lemme 8.7.2 Les v.a. Jn = Yn � CAXn�1

sont gaussiennes independantes et

Zn = AZn�1

+BUn�1

+KnJn.

Page 103: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

8.7 Controle avec information imparfaite 103

Preuve: D’abord,

Zn = Xn + (Zn �Xn)

car Zn = E(Zn|Fn) = E(Xn + (Zn � Xn)|Fn) = Xn + E((Zn � Xn)|Fn) et on dejaremarque que Zn �Xn est Fn�1

mesurable, donc Fn mesurable. Puisque les Jn sontles innovations du cours, on sait qu’elles sont gaussiennes et independantes. On a

Xn = AXn�1

+KnJn

donc

Zn = AXn�1

+KnJn + (Zn �Xn).

or

Zn �Xn = A(Zn�1

�Xn�1

) +BUn�1

On a donc la relation voulue. ⇤

Lemme 8.7.3

E(N�1X

k=0

Z⇤kSZk + U⇤

k⌃Uk + �(ZN ))� E(N�1X

k=0

Z⇤kSZk + U⇤

k⌃Uk + �(ZN ))

ne depend pas des valeurs de U0

, U1

, · · · , UN�1

En e↵et,

E(Z⇤kSZk � Z⇤

kSZk) = E((Xk � Xk)⇤S(Xk � Xk))

car

Z⇤kSZk = (Zk + (Zk � Zk))

⇤S(Zk + (Zk � Zk))

= Z⇤kSZk + Z⇤

kS(Zk � Zk) + (Zk � Zk)⇤SZk + (Zk � Zk)

⇤S(Zk � Zk)

Or

E(Z⇤kS(Zk � Zk)) = E(E(Z⇤

kS(Zk � Zk)|Fk) = 0

Donc

E(Z⇤kSZk) = E(Z⇤

kSZk) + E((Xk � Xk)⇤S(Xk � Xk))

Et on montre de la meme facon que E�(ZN )) = E(�(ZN )).

Theoreme 8.7.4 Le probleme de minimisation de

minE(N�1X

k=0

Z⇤kSZk + U⇤

k⌃Uk + �(ZN )),

a une solution.

Page 104: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

104 Controle et filtrage lineaire optimal

Preuve: Par le lemme precedent, trouver ce minimum revient a trouver le minimum

minE(N�1X

k=0

Z⇤kSZk + U⇤

k⌃Uk + �(XN ))

avec des Uk, Fk-mesurables, lorsque

Zn = AZn�1

+BUn�1

+KnJn.

Ceci est obtenu par la theorie du controle du debut de ce chapitre. On obtient Un

comme une fonction lineaire de Zn, et Zn s’obtient par recurrence par les relations

Xn = AXn�1

+Kn(Yn � CAXn�1

),

Yn = Tn � CA(Zn�1

� Xn�1

)� CBUn�1

,

Zn = Xn +A(Zn�1

� Xn�1

) +BUn�1

.

Page 105: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 9

Filtrage Markovien non lineaire:Cas fini

9.1. Introduction

Dans ce chapitre on veux decrire rapidement l’algorithme utilise dans le filtrage deschaines de Markov. Il s’agit de l’algorithme de Baum-Welsh employe pour les chainesde Markov cachees (HMM=Hidden Markov chains) par exemple dans la reconnais-sance de la parole.

On se place d’abord dans un cadre general: Etant donne une chaine de MarkovXn a valeurs dans un espace a priori arbitraire E, on cherche a approcher le mieuxpossible Xn au vu d’une observation Y

0

, · · ·Yn bruitee de X0

, · · ·Xn et ce de faconrecursive pour pouvoir l’implanter en temps reel. Autrement dit on veut pouvoirpasser facilement de cette approximation a celle de Xn+1

, au vu de Y0

, · · · , Yn+1

.Mathematiquement il s’agit de calculer e↵ectivement et rapidement (temps reel) laloi conditionnelle de Xn sachant Y

0

, · · · , Yn, c’est a dire par definition, l’ensembledes

E(f(Xn))|�(Y0, · · · , Yn))ou f est mesurable positive.

9.2. Le modele

On ne va considerer que le cas le plus important en pratique. Celui a espace d’etatfini. On considere donc une chaıne de Markov homogene Xn, n � 0, a valeurs dans Efini de probabilite de transition P , donc

E(f(Xn+1

)|�(X0

, · · · , Xn) = Pf(Xn)

pour tout f positif. L’obseravtion est donne par une suite Yk de variables aleatoiresa valeurs dans un espace fini F . Pour simplifier, on se place dans l’exemple usuelsuivant:

Yn = h(Xn) + Vn

Page 106: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

106 Filtrage Markovien non lineaire: Cas fini

ou h : E ! F , et les variables aleatoires Vn sont independantes et de meme loi etindependantes des Xn.

9.3. Les equations du filtrage

Introduisons les notations suivantes, tres utilisees par les ingenieurs, qui considerentplus les Y

0

, · · · , Yn observes comme des donnees que comme des variables aleatoires(assimilation des variables aleatoires a des ... variables).

On introduit les notations suivantes: pour toute fonction f : E ! R+

Zf dµn = E(f(Xn)|�(Y0, · · · , Yn))

et Zf dµ�

n = E(f(Xn)|�(Y0, · · · , Yn�1

))

On fera attention que µn et µ�n dependent de Y

0

, · · · , Yn. Ce sont simplement desprobabilites dependant de ce ”parametre” Y

0

, · · · , Yn, que nous pourrons considerercomme ”fixe”, car connu a l’instant n.

Le filtrage va se faire en deux etapes: l’etape de prediction et celle de correction(ou mise a jour).

9.3.1. L’etape de prediction

Lemme 9.3.1

E(f(Xn)|�(Y0, · · · , Yn�1

, Xn�1

)) = Pf(Xn�1

)

Preuve:On a

E(f1

(Xn)f2(Xn�1

)�(Y0

, · · · , Yn�1

))

= E(Pf1

(Xn�1

)f2

(Xn�1

)�(Y0

, · · · , Yn�1

))

ce qui prouve le lemme. ⇤En general, si ⌫ est une probabilite sur E, on note ⌫P la probabilite sur E definie

par

(⌫P )(A) =

ZP (x,A) d⌫(x)

Pour toute fonction f : E ! R+

Zf d(⌫P ) =

ZPf d⌫.

La proposition suivante nous dit ce que l’on peut predire sur Xn a l’instant n�1.

Page 107: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

9.3 Les equations du filtrage 107

Proposition 9.3.2µ�n = µn�1

P

Preuve: Avec le lemme precedent,Z

f dµ�n = E(f(Xn)|�(Y0, · · · , Yn�1

)) =

= E(E(f(Xn)|�(Y0, · · · , Yn�1

, Xn�1

))|�(Y0

, · · · , Yn�1

))

= E(Pf(Xn�1

)|�(Y0

, · · · , Yn�1

))

=

ZPf dµn�1

9.3.2. L’etape de mise a jour ou correction

Lemme 9.3.3 Si v(x) = P(Vn = x), posons

g(x, y) = v(y � h(x))

Alors

E(f(X0

, · · · , Xn)1{Y0=y0,··· ,Ym=ym}) = E(f(X0

, · · · , Xn)mY

k=1

g(Xk, yk))

Preuve: Il su�t d’ecrire que

E(f(X0

, · · · , Xn)1{Y0=y0,··· ,Ym=ym}) =

E(f(X0

, · · · , Xn)1{h(X0)+V0=y0,··· ,h(Xm)+Vm=ym}).

En utilisant le lemme 9.3.3, on a

Zf dµn = E(f(Xn)|�(Y0, · · · , Yn)) =

E(f(Xn)Qn

k=0

gk(Xk, yk))

E(Qn

k=0

gk(Xk, yk))

=E(f(Xn)gn(Xn, yn)

Qn�1

k=0

gk(Xk, yk))

E(Qn

k=0

gk(Xk, yk))

sur l’ensemble Y0

= y0

, · · · , Yn = yn. De la meme facon on obtient que

E(f(X0

, · · · , Xn)|�(Y0, · · · , Yn�1

)) =E(f(X

0

, · · · , Xn)Qn�1

k=0

gk(Xk, yk))

E(Qn�1

k=0

gk(Xk, yk))

et en particulier, pour toute fonction l sur E,Z

l dµ�n = E(l(Xn)|�(Y0, · · · , Yn�1

)) (9.1)

Page 108: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

108 Filtrage Markovien non lineaire: Cas fini

donc avec (9.1) applique a la fonction l(x) = f(x)gn(x, yn),

Zf dµn =

Zf(x)gn(x, yn) dµ

�n (x)

E(Qn�1

k=0

gk(Xk, yk))

E(Qn

k=0

gk(Xk, yk))

ce qui s’ecrit aussi, de facon plus agreable (prendre f = 1 pour identifier la constante):

Proposition 9.3.4

Zf dµn =

Rf(x)gn(x, yn) dµ�

n (x)Rgn(x, yn) dµ

�n (x)

Pour resume

Theoreme 9.3.5 Le filtre est donne par

µn�1

prediction�! µ�n = µn�1

Pmise a jour�! µn(x) =

gn(x, Yn)µ�n (x)P

z2E gn(z, Yn)µ�n (z)

C’est l’algorithme du filtrage de Baum Welsh des chaines de Markov cachees.

Page 109: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Partie II

Modeles a temps continu

Page 110: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain
Page 111: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 10

Calcul stochastique a tempscontinu, par rapport aubrownien

10.1. Mouvement Brownien

10.1.1. Famille gaussienne

Donnons nous un espace de probabilite (⌦,F ,P). Rappelons qu’une famille {Xi, i 2 I}de variables aleatoires est dite gaussienne si toute combinaison lineaire finie de cesv.a. suit une loi normale. La loi globale de cette famille (c’est a dire par definition,la loi de toute sous famille finie que l’on appelle vecteur gaussien) est determineepar les esperances E(Xi), i 2 I, et les covariances Cov (Xi, Xj), i, j 2 I. La loi duvecteur gaussien X = (X

1

, · · · , Xn) est caracterisee par sa transformee de Fourier ousa transformee de Laplace: pour � 2 Cn,

E(exp�⇤X) = exp(�⇤E(X) +�⇤Var(X)�

2)

ou X est considere comme un vecteur colonne, E(X) est le vecteur de composantesE(X

1

), · · ·E(Xn) et Var(X) la matrice de covariance de X definie par

Var(X) = E((X � E(X))(X � E(X)⇤).

Si I1

et I2

sont deux parties de I, l’independance de {Xi, i 2 I1

} et {Xi, i 2 I2

} estequivalente au fait que Cov (Xi, Xj) = 0 si i 2 I

1

et j 2 I2

. Un processus gaussienest par definition un processus dont les elements forment une famille gaussienne.

10.1.2. Definition du mouvement brownien

Definition 10.1.1 On appelle mouvement brownien le processus Wt, t 2 R+, a tra-jectoires continues, tel que W

0

= 0 et pour tout 0 s t,

Page 112: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

112 Calcul stochastique a temps continu, par rapport au brownien

• Wt �Ws a une loi N(0, t� s)

• Wt �Ws est independant de Wr, r s.

Si on ne le supposait pas dans la definition, on pourrait montrer que le processusconsidere est a trajectoires continues presque surement.

Proposition 10.1.2 Un processus (continu) {Wt, t 2 R+} est un mouvement brown-ien si et seulement si c’est un processus gaussien verifiant

E(Wt) = 0, E(WtWs) = min(s, t), pour tout t, s � 0.

Preuve: Supposons d’abord que Wt, t 2 R+, est un mouvement brownien. Alors Wt

est centre donc E(Wt) = 0. De plus, si 0 s t, on sait que Wt�Ws est independantde �(Wr, r s), donc en particulier de Ws. Il en resulte que

E(WtWs) = E((Wt �Ws +Ws)Ws) = E(Wt �Ws)E(Ws) + E(W 2

s ) = s.

Reciproquement, supposons les relations vraies et montrons qu’alors Wt, t 2 R+, estun mouvement brownien. Il faut montrer d’abord que si 0 s t, Wt � Ws estindependant de �(Wr, r s). Puisque la famille des Wt, t � 0, est gaussienne, il su�tde verifier que Cov(Wt �Ws,Wr) = 0, si r s t. Or

Cov(Wt �Ws,Wr) = E(WtWr)� E(WsWr) = min(t, r)�min(s, r) = 0.

Ensuite, il faut voir que, si 0 s t, loi de Wt �Ws ne depend que de t � s: cetteloi est gaussienne centree et sa variance est

E((Wt �Ws)2) = E(W 2

t ) + E(W 2

s )� 2E(WtWs) = t+ s� 2s = t� s.

Enfin, Wt est bien centre de variance t.

Corollaire 10.1.3 (Scaling) Soit {Wt, t 2 R+} un mouvement brownien. Alors

1. pour tout a > 0, {Wt+a �Wa, t 2 R+},

2. pour tout ↵ 2 R⇤, {↵W↵�2t, t 2 R+},

3. {tW1/t, t 2 R+},

sont des mouvements browniens.

Preuve: Les trois assertions se montrent de la meme facon. Traitons par exemplela seconde. Posons Xt = ↵W↵�2t. Tout d’abord, toute combinaison lineaire des v.a.Xt est une combinaison lineaire de certains Ws donc est gaussienne. Ceci montreque le processus {Xt, t � 0} est gaussien. Il est continu comme Wt. Il est clair queE(Xt) = 0, et

E(XtXs) = ↵2E(W↵�2tW↵�2s) = ↵2min(t

↵2

,s

↵2

) = min(s, t).

Par la proposition precedente, {Xt, t � 0} est un brownien.

Page 113: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.1 Mouvement Brownien 113

Theoreme 10.1.4 (Theoreme de Donsker) Soit X1

, X2

, · · · , Xn, · · · des variablesaleatoires independantes et de meme loi centree, de variance 1. On pose Sn =Pn

k=1

Xk. Alors les processus

{ 1pnS[nt], t 2 R+}

s’approchent en loi d’un mouvement brownien quand n ! +1.

Preuve: (Indication) Montrons seulement que si 0 s t, le couple ( 1pnS[ns],

1pnS[nt] � 1p

nS[ns]) converge en loi vers la loi de deux v.a. gaussiennes independantes

centrees de variance s et t � s. D’abord il est clair que les deux v.a. 1pnS[ns] et

1pn(S

[nt] � S[ns]) sont independantes. Il su�t donc de les etudier separement. Or

1pnS[ns] =

p[ns]pn

X1

+X2

+ · · ·+X[ns]p

[ns]

donc il resulte du theoreme central limite usuel que ceci tend en loi vers la loi depsX ou X a une loi normale centree reduite. Le second terme a la meme loi que1pnS[nt]�[ns] et se traite donc de la meme maniere.

10.1.3. Quelques proprietes

Le resultat technique suivant va nous permettre de decrire quelques proprietes nontriviales du mouvement brownien.

Lemme 10.1.5 Si {Wt, t 2 R+} est un mouvement brownien,

lim supt!+1

Wtpt= +1, p.s.

Preuve: Posons R = lim supWt/pt. Montrons d’abord que R est constant presque

surement. Pour tout s > 0, on a

R = lim supt!+1

Ws+t �Wspt

donc est independant de �(Wr, r s). Ceci etant vrai pour tout s > 0, R est indep-endant de �(Wr, r � 0). Par ailleurs, R est mesurable par rapport a cette tribu. DoncR est une v.a. independante d’elle meme. Il en resulte que soit R = +1, soit il existeune constante ↵ telle que R = ↵, p.s. Ce dernier cas est impossible car il entraine queP(Wtp

t� ↵+ 1) ! 0 quand t ! +1 alors que P(Wtp

t� ↵+ 1) = P(W

1

� ↵+ 1) 6= 0.

Page 114: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

114 Calcul stochastique a temps continu, par rapport au brownien

Proposition 10.1.6 Pour preque tout !, la trajectoire t 7! Wt(!),

1. passe une infinite de fois par chaque point de R;

2. n’est nulle part derivable.

Preuve: Il resulte du lemme precedent que, p.s.,

lim supt!+1

Wt = +1.

Comme {�Wt, t � 0} est aussi un mouvement brownien, on a aussi

lim inft!+1

Wt = �1.

Ces deux relations assurent, par continuite, que presque toute trajectoire passe partout point une infinite de fois. En ce qui concerne la non derivabilite, nous allonsseulement etablir que les trajectoires ne sont pas derivables en t = 0. Posons Bt =tW

1/t. Comme Bt, t � 0, est un mouvement brownien, on peut lui appliquer le lemme:presque surement,

lim supt!+1

Btpt= +1.

Donc, en posant s = t�1,

lim sups!0

1psWs = lim sup

s!0

psB

1/s = +1,

ce qui entraine que la trajectoire n’est pas derivable en 0, p.s.. Puisque Wt+a�Wa, t �0 est aussi un brownien, W n’est pas derivable en a, p.s. (ce p.s. a priori depend dea). Nous admettrons qu’en fait p.s., W n’est pas derivable en a.⇤

La fin de la preuve precedente montre aussi que la trajectoire oscille enormementau moment ou elle part de 0, puisqu’elle arrive a traverser une infinite de fois l’axe{x = 0} avant chaque instant fixe.

10.2. Propriete de Markov forte du Brownien

Lemme 10.2.1 Soit ⌧ un temps d’arret. Il existe une suite decroissante {⌧n, n 2 N}de temps d’arret tel que ⌧n est a valeurs dans {k/2n, k 2 N} [ {+1}.

Preuve: On peut prendre ⌧n = [2

n⌧ ]+1

2

n .

Theoreme 10.2.2 Soit {Bt, t � 0} un (Ft)–mouvement brownien. Alors, pour touttemps d’arret ⌧ , conditionnellement a {⌧ < +1}, le processus {Bt+⌧ � B⌧ , t 2 R+}est un brownien, independant de F⌧ .

Page 115: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.2 Propriete de Markov forte du Brownien 115

Preuve: Il faut montrer que pour toute v.a. Z, F⌧ -mesurable bornee et F : Rd ! R,continue bornee,

E(Z1{⌧<+1}F (Bt1+⌧ �B⌧ , Bt2+⌧ �B⌧ , · · · , Btd+⌧ �B⌧ )) =

= E(Z1{⌧<+1})E(F (Bt1 , · · · , Btd))

On considere d’abord le cas ou ⌧ prend toutes ses valeurs dans l’ensemble denombrable{sk = k2�n, k 2 N}. Alors, puisque ⌦ est la reunion denombrable des ensemblesdisjoints {⌧ = sk}, on peut ecrire:

E(Z1{⌧<+1}F (Bt1+⌧ �B⌧ , · · · , Btd+⌧ �B⌧ )) =

=+1X

k=0

E(ZF (Bt1+⌧ �B⌧ , · · · , Btd+⌧ �B⌧ )1{⌧=sk})

=+1X

k=0

E(Z1{⌧=sk}F (Bt1+sk �Bsk , · · · , Btd+sk �Bsk))

=+1X

k=0

E(Z1{⌧=sk})E(F (Bt1 , · · · , Btd))

= E(Z1{⌧<+1})E(F (Bt1 , · · · , Btd))

ou l’on a utilise que Z1{⌧=sk} est Fsk mesurable et que B est un Ft–brownien. Dansle cas general, on approche ⌧ par une suite decroissante ⌧n de temps d’arret a valeursdenombrables, donnee par le lemme. Puisque F⌧ est contenu dans F⌧n on a encore

E(Z1{⌧<+1}F (Bt1+⌧n �B⌧n , · · · , Btd+⌧n �B⌧n)) = E(Z1{⌧<+1})E(F (Bt1 , · · · , Btd))

et on fait tendre n vers l’infini pour conclure, en utilisant la continuite des trajectoires.

Proposition 10.2.3 (Principe de reflexion) Soit {Bt, t � 0} un mouvement brown-ien. Pour a > 0, on pose Ta = inf{t � 0;Bt = a}. Alors

P(Ta t) = 2P(Bt � a).

La densite de Ta est f(s) = a(2⇡s3)�1/2e�a2/2s1R+(s). En particulier E(Ta) = 1.

Preuve: En utilisant la propriete de Markov forte du brownien, on sait que Wt =Bt+Ta �BTa est un brownien independant de FTa donc en particulier de Ta. On peutdonc ecrire, puisque BTa = a que

P(Bt � a) = P(Ta t, Bt � a)

= P(Ta t, (Bt �BTa) +BTa � a)

= P(Ta t,Wt�Ta � 0)

=

Z1{st}P(Wt�s � 0)dPTa(s)

=1

2P(Ta t).

Page 116: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

116 Calcul stochastique a temps continu, par rapport au brownien

On en deduit, avec le changement de variable x = apt/s,

P(Ta t) =p2/⇡t

Z 1

ae�x2/2t dx = a

Z t

0

(2⇡s3)�1/2e�a2/2s ds.

Donc la densite de Ta est f(s) = a(2⇡s3)�1/2e�a2/2s, ce qui permet de calculerl’esperance.

On voit donc que, bien que le brownien passe une infinite de fois par tout lespoints, il met un temps d’esperance infinie pour atteindre un point donne. La proprietesuivante est assez etonnante !

Corollaire 10.2.4 La loi de sup0stBs est la meme que celle de |Bt|.

Preuve: P(sup0stBs � a) = P(Ta t) = 2P(Bt � a) = P(|Bt| � a).

10.2.1. Martingales et mouvement brownien

Theoreme 10.2.5 Si (Wt) est un mouvement brownien, les trois processus suivantssont des martingales:

• Wt, t � 0.

• W 2

t � t, t � 0.

• e�Wt��2

2 t, t � 0.

Preuve: Pas di�cile: mettre en evidence les accroissements.

Proposition 10.2.6 (Ruine du joueur) Soit ⌧a = inf{t � 0,Wt = a}. Alors poura < 0 < b

P(⌧a < ⌧b) =b

b� a,

etE(⌧a ^ ⌧�a) = a2.

Preuve: Posons � = ⌧a ^ ⌧b. C’est un temps d’arret donc W � est une martingale parle theoreme d’arret. On a donc, pour tout t � 0,

E(W �t ) = E(W �

0

) = 0

Remarquons que |W �t | max(�a, b) qui est integrable fixe. On peut donc appliquer

le theoreme de convergence dominee pour faire tendre t ! +1 et obtenir que

E(W �1) = 0

Puisque � est fini p.s. (pourquoi ?) on a donc a la fois

0 = E(W�) = aP(⌧a < ⌧b) + bP(⌧b < ⌧a)

et1 = P(⌧a < ⌧b) + P(⌧b < ⌧a)

ce qui donne le premier resultat. Pour montrer le second utiliser la martingale W 2

t �t.

Page 117: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.3 Integrale stochastique 117

10.3. Integrale stochastique

Nous allons imiter la construction de l’integrale de Riemann pour integrer un proces-sus continu ”contre” le mouvement brownien. Remarquons d’abord que si f : R+ ! Rest une fonction continue et si 0 = t(n)

0

< t(n)1

< · · · < t(n)n = T est une suite de sub-divisions de [0, T ] donc le pas tend vers 0, quand n ! +1, pour tout 0 t T , laconstruction de Riemann nous dit que

Z T

0

f(s) ds = limn!+1

n�1X

i=0

f(t(n)i )(t(n)i+1

� t(n)i )

et plus generalement, si 0 < t < T ,

Z t

0

f(s) ds = limn!+1

n�1X

i=0

f(t(n)i )(t(n)i+1

^ t� t(n)i ^ t)

On se donne un Ft-mouvement brownien (Wt) sur (⌦,F ,P).

Definition 10.3.1 On appelle processus adapte etage un processus Xt s’ecrivant

Xt =kX

i=0

Xti1[ti,ti+1[(t)

ou Xti est Fti-mesurable,

Si X est un processus adapte etage, on pose

Mt =

Z t

0

Xs dWs =kX

i=0

Xti(Wti+1^t �Wti^t) (10.1)

Theoreme 10.3.2 La formule se prolonge a tout processus adapte continu borne Xet definit un processus

Mt =

Z t

0

Xs dWs

qui est une martingale continue et telle que

M2

t �Z t

0

X2

s ds

est aussi une martingale. Pour tout t � 0

E( sup0st

M2

s ) 4E(M2

t ) = 4E(Z t

0

X2

s ds) (10.2)

Page 118: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

118 Calcul stochastique a temps continu, par rapport au brownien

Preuve: Etape 1. Montrons deja que Mt a ces proprietes de martingales dans le casde la formule (10.1). Si ti s t ti+1

,

Mt �Ms = Xti(Wt �Ws)

doncE(Mt �Ms|Fs) = E(Xti(Wt �Ws)|Fs) = XtiE(Wt �Ws|Fs) = 0.

En particulier E(Mt|Fti) = Mti et si ti�1

s ti,

E(Mt|Fs) = E[E(Mt|Fti)|Fs)] = E[Mti |Fs)] = Ms

De proche en proche on obtient que cette relation est vraie pour tout s t. De lameme facon, si ti s t ti+1

, (Mt �Ms)2 = X2

ti(Wt �Ws)2 donc

E((Mt �Ms)2|Fs) = E(X2

ti(Wt �Ws)2|Fs) = X2

tiE(Wt �Ws)2|Fs) = X2

ti(t� s).

Remarquons que E(MsMt|Fs) = M2

s donc

E((M2

t �M2

s )|Fs) = E((Mt �Ms)2|Fs) = X2

ti(t� s) =

Z t

sX2

u du

a nouveau, de proche en proche on en deduit que M2

t �R t0

X2

s ds est une martingale.La relation (10.3) est consequence de l’inegalite de Doob.

Etape 2. Considerons le cas ou X est continu borne. Alors, pour tout T > 0, lasuite de processus

Xnt =

nX

k=0

XkT/n1[kT/n,(k+1)T/n[(t)

converge vers X, en dehors des points de sauts de X. Si on pose

Mnt =

Z t

0

Xns dWs

on a Mnt �Mm

t =R t0

(Xns �Xm

s ) dWs, donc par (10.3),

E( sup0sT

(Mns �Mm

s )2) 4E(Z t

0

(Xns �Xm

s )2 ds)

Le terme de droite tend vers 0 quand n,m ! +1. On peut donc construire parrecurrence une suite nk telle que

EZ t

0

(Xnk+1s �Xnk

s )2 ds 1/2k

Posons alors

Mt = limk!+1

Mnks = Mn0

s +1X

k=0

[Mnk+1s �Mnk

s ]

Cette serie converge, dans L2 et uniformement ... Une limite dans L1 de martingalesetant une martingale (Lemme 10.4.4) on conclut facilement.

Page 119: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.4 Processus arrete, martingale locale 119

10.4. Processus arrete, martingale locale

Un temps d’arret ⌧ est une v.a. a valeurs dans R+[{+1} telle que, pour tout t � 0,

{⌧ t} 2 Ft.

Remarquons que ceci est equivalent au fait que le processus t 7! 1[0,⌧ [(t) est adapte.

Pour tout processus continu adapte, on montre comme au dessus queR t0

Xs1[0,⌧ [(s)dWs

est bien defini et queZ t^⌧

0

XsdWs =

Z t

0

Xs1[0,⌧ [(s)dWs.

Corollaire 10.4.1 Soit ⌧ un temps d’arret, X continu borne, et M =R t0

Xs dWs.Alors M ⌧

t = M⌧^t est une martingale.

Definition 10.4.2 Un processus adapte continu M est une martingale locale si ilexiste une suite croissante de temps d’arrets ⌧n ! +1, p.s., telle que M ⌧n �M

0

soitune martingale. On dit alors que la suite {⌧n, n � 0} reduit M .

Soit X un processus adapte continu nul en 0, on pose ⌧n = inf{t � 0, |Xt| � n}.Alors X⌧n est un processus adapte continu borne. Si t ⌧n posons

Mt =

Z t

0

Xs dWs =

Z t

0

X⌧ns dWs.

Il n’y a pas d’ambiguite car si t ⌧n ⌧mZ t

0

X⌧ms dWs =

Z t^⌧n

0

X⌧ms dWs =

Z t

0

X⌧ns dWs.

Si X est un processus adapte continu arbitraire, on poseZ t

0

Xs dWs =

Z t

0

(Xs �X0

) dWs +X0

Wt.

Alors M est une martingale locale puisque M ⌧n est une martingale et, de meme,M2

t �R t0

X2

sds est une martingale locale :

Theoreme 10.4.3 Pour tout processus continu adapte Xt, t � 0,, les processus

Mt =

Z t

0

Xs dWs, t � 0,

et

(

Z t

0

Xs dWs)2 �

Z t

0

X2

s ds, t � 0,

sont des martingales locales. De plus

E( sup0st

M2

s ) 4E(Z t

0

X2

s ds). (10.3)

Page 120: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

120 Calcul stochastique a temps continu, par rapport au brownien

Preuve: Pour montrer l’inegalite, on utilise le fait que puisque (Mt) est un martingalelocale, Il existe une suite ⌧n croissant vers +1 pour laquelle M ⌧n

t est une martingale.On a, par Doob,

E( sup0st

(M ⌧ns )2) 4E((M ⌧n

t )2) 4E(Z t^⌧n

0

X2

s ds) 4E(Z t

0

X2

s ds)

et on fait tendre n vers l’infini (avec Lebesgue monotone). ⇤

Contrairement au cas du temps discret, il n’est pas vrai qu’une martingale localeintegrable est une martingale. Il est donc tres utile d’avoir des criteres permettant devoir si une martingale est une martingale locale.

Lemme 10.4.4 Si (M (n)t , t 2 R+) est une suite de martingales et si M (n)

t ! Mt

dans L1 quand n ! +1, alors Mt, t 2 R+ est aussi une martingale

Preuve: Continuite de l’esperance conditionnelle dans L1.

Proposition 10.4.5 1. Une martingale locale bornee est une martingale.

2. SI X est un processus adapte continu tel que, pour tout t � 0

E(Z t

0

X2

s ds) < +1

alors

Mt =

Z t

0

Xs dWs et M2

t �Z t

0

X2

s ds

sont des martingales.

Preuve: 1. Si (Zt) est une martingale locale bornee et (⌧n) reduit Z, la suite Z⌧nt con-verge vers Z dans L1 par le theoreme de Lebesgue domine. Z est donc une martingalepar le lemme 10.4.4.

2. Par le theoreme precedent,

E( sup0st

M2

s ) 4E(M2

t ) E(Z t

0

X2

sds)

qui est fini par hypothese. Si ⌧n reduit M , M ⌧nt converge vers Mt dans L1 et donc,

par le lemme 10.4.4, M est une martingale. De meme M2

t^⌧n �R t^⌧n0

X2

sds est majoreepar une fonction integrable fixe. C’est donc une suite de martingale convergeant dansL1 vers M2

t �R t0

X2

s ds qui est donc une martingale.

Page 121: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.5 Formule d’Ito pour le Brownien 121

10.5. Formule d’Ito pour le Brownien

Theoreme 10.5.1 Si f : R ! R est de classe C2,

f(Wt) = f(0) +

Z t

0

f 0(Ws) dWs +1

2

Z t

0

f 00(Ws) ds

Preuve: Quitte a remplacer d’abord t par t ^ ⌧ ou ⌧ = inf{t; |Wt| � M , on peutsupposer f 0 et f 00 bornes. Soit 0 < tn

1

< tn2

< · · · < tnn = t une suite de partitions de[0, t]dont le pas sup

0<i<n�1

tni+1

� tni tend vers 0 quand n ! +1. Utilisons la formulede Taylor sous la forme

f(y)� f(x) = f 0(x)(y � x) +1

2f 00(z)(y � x)2

pour un z entre x et y pour ecrire que

f(Wt) = f(W0

) +n�1X

i=0

f(Wti+1)� f(Wti)

= f(W0

) +n�1X

i=0

f 0(Wti)(Wti+1 �Wti) +1

2

n�1X

i=0

f 00(zi)(Wti+1 �Wti)2

ou zi est entre Wti et Wti+1 . On a

n�1X

i=0

f 0(Wti)(Wti+1 �Wti) =

Z t

0

n�1X

i=0

f 0(Wti)1[ti,ti+1[(s) dWs

donc

E([n�1X

i=0

f 0(Wti)(Wti+1 �Wti)�Z t

0

f 0(Ws)dWs]2)

E(Z t

0

[n�1X

i=0

(f 0(Wti)� f 0(Ws))1[ti,ti+1[

(s)]2 ds)

qui tend vers 0 par continuite et Lebesgue domine. Pour traiter le dernier terme onutilise le lemme suivant.

Lemme 10.5.2 Soit f : R+ ! R une fonction continue, si t(n)k = kT2

n , alors, presquesurement,

2

n�1X

k=0

f(t(n)i )(Wt(n)i+1

�Wt(n)i

)2 !Z t

0

f(s)ds

quand n ! +1.

Page 122: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

122 Calcul stochastique a temps continu, par rapport au brownien

Preuve: N’ecrivons pas l’exposant (n) pour simplifier les notations. Puisque Wt+s �Wt a la meme loi que

pt� sW

1

on a

E((Wti+1 �Wti)2) = ti+1

� ti

V ar((Wti+1 �Wti)2) = a(ti+1

� ti)2

ou a = V ar(W 2

1

). Donc, en utilisant l’independance des accroissements,

E([2

n�1X

i=0

(Wti+1 �Wti)2 � (ti+1

� ti)]2) =

XV ar(Wti+1 �Wti)

2 = aX

(ti+1

� ti)2

a(X

(ti+1

� ti)) supk(tk+1

� tk) aTT

2n

On voit donc que+1X

n=0

E[2

n�1X

i=0

(Wt(n)i+1

�Wti(n))2 � T ]2 < +1

ce qui entraıne que, presque surement,

2

n�1X

i=0

(Wt(n)i+1

�Wti(n))2 ! T

De la meme facon, on voit que pour tout 0 t T , presque surement,

2

n�1X

i=0

(Wt(n)i+1^t

�Wti(n)^t)2 ! t

Si f = 1[0,t] clair, donc plus generalement pour les fonctions etagees, par linearite.

Ensuite toute fonction continue f est limite uniforme sur [0, T ] de fonctions etageesfr et donc

|X

f(ti)(Wti+1 �Wti)2 �

Xfr(ti)(Wti+1 �Wti)

2| sup|f � fr|X

(Wti+1 �Wti)2

et on conclut alors facilement.

10.5.1. Generalisation unidimensionnelle

Definition 10.5.3 On appelle processus d’Ito (unidimensionnel) un processus Xt

s’ecrivant

Xt = X0

+

Z t

0

asds+

Z t

0

�s dWs

ou a et � sont des processus adaptes continus.

Page 123: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.5 Formule d’Ito pour le Brownien 123

Lorsque at et �t sont des processus adaptes etages, on montre facilement, enadaptant la preuve de la formule d’Ito pour le brownien, que le theoreme suivant estvrai. On l’obtient ensuite pour tout a et � continus adaptes par approximation etlocalisation.

Theoreme 10.5.4 (Formule d’Ito) Si X est un processus d’Ito unidimensionnel,et f : R ! R est de classe C2,

f(Xt) = f(X0

) +

Z t

0

f 0(Xs) dXs +1

2

Z t

0

f 00(Xs)�2

s ds

On a utilise la notation intuitive suivante: si �t est un processus continu adapte,Z t

0

�s dXs =

Z t

0

�sas ds+

Z t

0

�s�s dWs

Autrement dit, formellement

dXt = at dt+ �t dWt.

On ecrit souvent la formule d’Ito sous la forme condensee

d(f(Xt)) = f 0(Xt) dXt +1

2f 00(Xt)�

2

t dt.

ou encore

d(f(Xt)) = f 0(Xt) dXt +1

2f 00(Xt)dhX,Xit

en posantdhX,Xit = �2t dt.

10.5.2. Cas multidimensionnel

Soit W (1)

t ,W (2)

t , · · · ,W (n)t n Ft-mouvements browniens independants. Un processus

Xt = (X(1)

t , · · · , X(d)t ) a valeurs dans Rd est appele un processus d’Ito si, pour tout

i = 1, · · · , d,

X(i)t = X

0

+

Z t

0

a(i)s ds+nX

j=1

Z t

0

�(i,j)s dW (j)s

ou a(i)s et �(i,j)s sont des processus continus adaptes. On ecrira pour simplifier

dX(i)t = a(i)t dt+

nX

j=1

�(i,j)t dW (j)t .

Posons

hX(i), X(j)it =Z t

0

nX

k=0

�(i,k)s �(j,k)s ds

Page 124: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

124 Calcul stochastique a temps continu, par rapport au brownien

ce que l’on ecrit aussi

dhX(i), X(j)it =nX

k=0

�(i,k)t �(j,k)t dt.

Theoreme 10.5.5 (Formule d’Ito multidimensionnelle) Si X est un processusd’Ito a valeurs dans Rd, et f : Rd ! R est de classe C2,

f(Xt) = f(X0

) +dX

i=1

Z t

0

@f

@xi(Xs) dX

(i)s +

1

2

dX

i,j=1

Z t

0

@2f

@xi@xj(Xs)dhX(i), X(j)is

Un cas particulier important est le suivant. Il s’obtient en appliquant la formuleprecedente a la fonction f(x

1

, x2

) = x1

x2

.

Theoreme 10.5.6 (Formule d’integration par parties) Si X1, X2 est un pro-cessus d’Ito

dX(1)

t X(2)

t = X(1)

t dX(2)

t +X(2)

t dX(1)

t + dhX(1), X(2)it

Comme cas particulier de la formule d’Ito on obtient:

Theoreme 10.5.7 (Formule d’Ito pour fonction dependant du temps) Si Xest un processus d’Ito unidimensionnel, et f : R+ ⇥ R ! R est de classe C2,

f(t,Xt) = f(0, X0

) +

Z t

0

@f

@t(s,Xs) ds+

Z t

0

@f

@x(s,Xs) dXs +

1

2

Z t

0

@2f

@x2(s,Xs)�

2

s ds

Preuve: On remarque que le couple (t,Xt) est lui meme un processus d’Ito bidimen-sionnel auquel on on peut applique la formule d’Ito precedente.

10.6. Exemples

La plupart des calculs sur l’integrale stochastique se font avec la formule d’Ito. Ex-emple:

Z t

0

WsdWs =1

2(W 2

t � t)

e�Wt��2

2 t = 1 + �

Z t

0

e�Ws��2

2 sdWs

Page 125: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.7 Theoreme de Girsanov 125

Proposition 10.6.1 Soit Mt =R t0

�s dWs, ou � est continu adapte. Alors

Zt = eMt� 12

R t0 �

2s ds

verifie

Zt = 1 +

Z t

0

Zs�s dWs

C’est en particulier une martingale locale.

Preuve: On applique la formule d’Ito au processus d’Ito

Xt = �1

2

Z t

0

�2s ds+

Z t

0

�s dWs = Mt �1

2

Z t

0

�2s ds

pour lequel < X,X >t=R t0

�2s ds et a la fonction f(x) = ex.

Proposition 10.6.2 Si f est deterministe continue, Mt =R t0

f(s)dWs est un pro-cessus gaussien centre de covariance

cov(Mt,Ms) =

Z s^t

0

f(s)2ds

Preuve: On applique la proposition precedente pour calculer la transformeee deFourier de Mt.

10.7. Theoreme de Girsanov

Soit Mt =R t0

�s dWs, ou � est continu adapte et

Zt := eMt� 12

R t0 �

2s ds

Jusqu’a present nous travaillons sur un espace de probabilite (⌦, (Ft),P). FixonsT > 0 et supposons que Zt, 0 t T, soit une vraie martingale (il existe des criterespermettant de le verifier) donc que E[ZT ] = 1. Sur (⌦, (FT )) on peut definir uneprobabilite P equivalente a P en posant, par

dP = ZT dP

(autrement dit

E(X) :=

ZX dP =

ZXZT dP = E(XZT )

pour toute v.a. posiitve X, FT -mesurable.)Le theoreme suivant est du a Cameron et Martin quand � est deterministe.

Page 126: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

126 Calcul stochastique a temps continu, par rapport au brownien

Theoreme 10.7.1 (Girsanov) Sur (⌦, (FT ), P), le processus

Wt := Wt �Z t

0

�s ds

est un mouvement brownien pour t T .

Preuve: Montrons seulement que Wt a bien la loi N(0, t). (La preuve generale con-siste a calculer la loi de

Pnk=1

�kWtk exactement de la meme facon). Calculons latransformee de Laplace ou de Fourier,

E(e� ˜Wt) = E(ZT e� ˜Wt) = E(Zte

� ˜Wt) car(Zt) est une martingale,

= E(eMt� 12

R t0 �

2s dse�(Wt�

R t0 �s ds))

Remarquons alors que

Mt + �Wt =

Z t

0

(�s + �)dWs

donc, par la proposition

eMt+�Wt� 12

R t0 (�s+�)

2 ds

est une martingale locale. Admettons que c’est une martingale. Donc

E[eMt+�Wt� 12

R t0 �

2s ds�

R t0 ��s ds� 1

2

R t0 �

2 ds] = 1

On en deduit bien que

E(e� ˜Wt) = e�2t2 .

10.7.1. Une application

Comme application du theoreme de Girsanov, calculons la loi du temps d’atteinted’un niveau a > 0 par un brownnien avec drift �. Soit Wt, t � 0 un Brownien. Onpose

Zt = exp(�Wt ��2

2t)

Sur FT on posedP = ZT dP.

Par Girsanov, sur (⌦,FT , P), Wt = Wt � �t est un brownien usuel. Autrement dit,

Wt = Wt + �t

est sous P un brownien avec drift �. Soit ⌧a = inf{t � 0,Wt = a}. On a, pour t T ,en utilisant que Zt est une martingale sous P,

P(⌧a T ) = E(1⌧aTZT ) = E(1⌧aTZ⌧a)

Page 127: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.8 Equations di↵erentielles stochastiques 127

= E(1⌧aT exp(�a� �2

2⌧a))

=

Z t

0

exp(�a� �2

2s)f(s)ds

ou

f(t) =|a|p2⇡t3

e�a2/2t

par la proposition 10.2.3. Donc ⌧a a sous P la densite

f(t) =|a|p2⇡t3

e�(a��s)2/2t.

Si t ! +1 on en deduit que, si a < 0,� > 0,

P(⌧a < +1) = e2�a.

10.8. Equations di↵erentielles stochastiques

On se limite au cas unidimensionnel. Soient � : R+ ! R et b : R+R ! R deux fonc-tions continues. Pour x, on considere l’equation di↵erentielle stochastique (E.D.S.)

dXt = �(Xt) dBt + b(Xt) dt, X0

= x 2 Rp; (10.4)

Etant donne un mouvement Brownien sur (⌦, (Ft),P), muni de sa filtration, on appellesolution (forte) de cette equation un processus adapte continu Xt tel que, pour toutt � 0,

Xt = X0

+

Z t

0

b(Xs) ds+

Z t

0

�(Xs) dBs

On considere l’equation (10.4). On dit que b et � sont lipschitziennes en x si ilexiste K > 0 tels que, pour tous x, y 2 R

|b(x)� b(y)| K|x� y|, |�(x)� �(y)| K|x� y|.

Le theoreme fondamental est le suivant:

Theoreme 10.8.1 Soit Bt, t � 0, un mouvement brownien. On suppose que b et �sont lipschitziennes en x et bornees sur les compacts. Etant donne x 2 R il existe unet un seul processus continu adapte X tel que pour tout t � 0,

Xt = x+

Z t

0

b(Xs) ds+

Z t

0

�(Xs) dBs.

Page 128: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

128 Calcul stochastique a temps continu, par rapport au brownien

Preuve:1. Unicite: admise. 2. Existence: on utilise ce qu’on appelle le schema de Picard. Onpose, pour tout t � 0, X0

t = x puis par recurrence

Xnt = x+

Z t

0

b(Xn�1

s ) ds+

Z t

0

�(Xn�1

s ) dBs

On a

Xn+1

t �Xnt =

Z t

0

(b(Xns )� b(Xn�1

s ) ds+

Z t

0

(�(Xns )� �(Xn�1

s ) dBs

Posonsgn(u) = E(sup

tu[Xn+1

t �Xnt ]

2).

Si 0 u T ,

gn(u)

2E(suptu

[

Z t

0

(b(Xns )� b(Xn�1

s )) ds]2) + 2E(suptu

[

Z t

0

(�(Xns )� �(Xn�1

s )) dBs]2)

2E(TZ u

0

(b(Xns )� b(Xn�1

s ))2 ds) + 8E([Z u

0

(�(Xns )� �(Xn�1

s ))2 ds)

2(T + 4)K2

Z u

0

E(|Xns �Xn�1

s |2) ds

2(T + 4)K2

Z u

0

E(supsv

|Xns �Xn�1

s |2) dv = C

Z u

0

gn�1

(v) dv

pour C = 2(T + 4)K2. On en deduit par recurrence que,

gn(t) Cntn

n!g0

(t)

or

g0

(t) E(supsT

[X1

s � x]2) E(supsT

(sb(x) +

Z s

0

�(x)dBr)2)) Cte

On a donc

E(1X

n=0

suptT

[Xn+1

t �Xnt ]

2) =1X

n=0

gn(T ) < +1.

On en deduit que Xn converge p.s. vers une solution X de l’equation.

10.8.1. Estimees

Lemme 10.8.2 (Gronwall) Soit g : [0, T ] ! R une fonction borelienne bornee telleque, pour a, b � 0,

g(t) a+ b

Z t

0

g(s) ds, pour tout 0 t T.

Alors g(t) aebt sur [0, T ].

Page 129: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.8 Equations di↵erentielles stochastiques 129

Preuve: On pose G(t) = a+ bR t0

g(s) ds. Alors g(t) G(t). Si g est continue, G estune fonction derivable et

(e�btG(t))0 = �be�btG(t) + e�btG0(t) = �be�btG(t) + be�btg(t) 0

donc e�btg(t) e�btG(t) G(0) = a.Si g est seulement mesurable bornee, G est continue et verifie

G(t) = a+ b

Z t

0

g(s) ds a+ b

Z t

0

G(s) ds

donc la meme conclusion est vraie. ⇤

Theoreme 10.8.3 Sous les hypotheses du theoreme 10.8.1 Pour tout m,T > 0,

E(suptT

kXtkm) < +1.

Preuve: Sous ces hypotheses, il existe K > 0 tel que, pour tout x 2 Rp,

||�(x)||+ ||b(x)|| K(1 + ||x||) (10.5)

Soit⌧ = inf{t � 0; kXtk � n}

avec n � kx0

k. Pour simplifier les notations, en dimension 1, en prenant p pair pourque kXtkp = Xp

t , par Ito,

dXpt = pXp�1

t dXt +p(p� 1)

2Xp�2

t dhX,Xit

donc

Xpt^⌧ = xp

0

+

Z t^⌧

0

[p(X⌧s )

p�1b(X⌧s ) +

p(p� 1)

2�(X⌧

s )2(X⌧

s )p�2]ds

+

Z t^⌧

0

p(X⌧s )

p�1�(X⌧s )dBs

Puisque (a+ b+ c)2 4(a2 + b2 + c2) on en deduit que

X2pt^⌧ 4x2p

0

+ 4(

Z t^⌧

0

[p(X⌧s )

p�1b(X⌧s ) +

p(p� 1)

2�(X⌧

s )2(X⌧

s )p�2]ds)2

+4(

Z t^⌧

0

p(X⌧s )

p�1�(X⌧s )dBs)

2

donc par Doob, et par Cauchy Schwarz, si 0 r T , pour un T > 0 fixe,

E(suptr

X2pt^⌧ )

Page 130: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

130 Calcul stochastique a temps continu, par rapport au brownien

4x2p0

+ 4T (

Z r

0

|p(X⌧s )

p�1b(X⌧s ) +

p(p� 1)

2�(X⌧

s )2(X⌧

s )p�2]|2ds)

+16E(Z r

0

[p(X⌧s )

p�1�(X⌧s )]

2ds

On peut trouver deux constantes ↵,� > 0 telles que, pour tout x 2 R,

4T (|pxp�1b(x)|+ |p(p� 1)

2�(x)2xp�2]|)2 + 16|pxp�1�(x)|2 ↵+ �|x|2p

On a donc, en posant � = 4x2p0

+ T↵,

E(suptr

X2pt^⌧ ) � + �

Z r

0

E(X2ps^⌧ )ds

donc

E(suptr

X2pt^⌧ ) � + �

Z r

0

E(supts

X2pt^⌧ )ds

et par Gronwall,E(sup

trX2p

t^⌧ ) �e�r.

Comme les constantes ne dependent pas de n (qui a defini ⌧) on peut faire tendre nvers l’infini pour obtenir que

E(suptr

X2pt ) �e�r.

10.8.2. Propriete de Markov

Reprenons les hypotheses precedentes mais supposons que b et � ne dependent pasdu temps t. Notons Xx

t la solution de l’E.D.S. (10.4) verifiant Xx0

= x. PrenonsFt = �(Bs, s t). Il existe une application mesurable

� : R⇥ C([0, T ],R) ! C([0, T ],R)

telle queXx = �(x,B).

Pour tout temps d’arret ⌧ , fini p.s., par la propriete de Markov forte du Brownien leprocessus Bt = Bt+⌧ � B⌧ est un mouvement brownien independant de F⌧ , donc deX⌧ . On voit facilement en prenant d’abord pour H des fonctions etagees que, pourtout H de L0(B), Z t+⌧

⌧Hs dBs =

Z t

0

Hs+⌧ dBs

La relation

X⌧+t = X⌧ +

Z t+⌧

⌧b(Xs) ds+

Z t+⌧

⌧�(Xs) dBs

Page 131: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.9 Processus de Markov 131

= X⌧ +

Z t

0

b(X⌧+s) ds+

Z t

0

�(X⌧+s) dBs

montre que, si on pose ⌧Xt = X⌧+t, pour tout t � 0, alors

⌧X = �(X⌧ , B).

Puisque B est independant de F⌧ , on en deduit:

Theoreme 10.8.4 (Propriete de Markov forte) Pour tout temps d’arret ⌧ fini p.s.,pour toute fonction mesurable positive F definie sur C(R+,Rp),

E(F (⌧X)|F⌧ ) = Ey(F (X)), pour y = X⌧

ou le symbole Ey signifie que l’on considere la solution X telle que X0

= y (c’est adire X(y)).

10.9. Processus de Markov

Posons, pour f mesurable positive sur Rp, Ptf(x) = Ex(f(Xt)). En prenant F (X) =f(Xt) et ⌧ = s dans le theoreme precedent on voit que

E(f(Xt+s)|Fs) = Ey(f(Xt)) = Ptf(y), pour y = Xs,

donc, en prenant l’esperance,

Pt+sf(x) = Ex(f(Xt+s)) = Ps(Ptf)(x)

c’est la propriete dite de semigroupe. On dit que X est un processus de Markov desemigroupe (Pt). Par continuite des trajectoires en t = 0,

limt!0

Ptf(x) = f(x)

si f est continue bornee.

Definition 10.9.1 On appelle generateur du semigroupe (Pt) l’operateur Lf definipar

Lf(x) = limt!0

Ptf(x)� f(x)

tpour les f pour lesquels cette limite a un sens.

Theoreme 10.9.2 Soit X solution de l’E.D.S.,

dXt = �(Xt) dBt + b(Xt) dt

Alors X est un processus de Markov dont le generateur est donne par

Lf(x) =1

2�(x)2

@2f

@x2+ b(x)

@f

@x(x)

lorsque f est C2 a support . On dit que X est une di↵usion.

Page 132: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

132 Calcul stochastique a temps continu, par rapport au brownien

Preuve: Si on applique la formule d’Ito a f(Xt), on obtient,

f(Xt) = f(X0

) +

Z t

0

@f

@x(Xs)�(Xs) dBs +

Z t

0

Lf(Xs) ds

Puisque f est a support compact , @f@x (Xs)�(Xs) est borne, donc l’integrale stochas-tique est une martingale, d’esperance nulle. On a alors

Ptf(x) = f(x) + Ex(

Z t

0

Lf(Xs) ds) = f(x) +

Z t

0

PsLf(x) ds

Donc

Lf(x) = limt!0

Ptf(x)� f(x)

t= lim

t!0

1

t

Z t

0

PsLf(x) ds = P0

Lf(x) = Lf(x).

10.9.1. Feynman-Kac

On considere a nouveau,

Lf(x) =1

2�(x)2

@2f

@x2+ b(x)

@f

@x(x)

On se donne �, c : R ! R avec c � 0 et on considere une solution u bornee a deriveesbornees de l’equation

@u

@t(t, x) = (L� c(x))u(t, x), u(0, x) = �(x). (10.6)

Theoreme 10.9.3 La solution u(t, x) de (10.6) verifie:

u(t, x) = Ex[�(Xt) exp(�Z t

0

c(Xs) ds)]

ou X est la di↵usion associee a (10.4)

Preuve: On pose, t > 0 etant fixe,

v(s, x) = u(t� s, x), Zs = exp(�Z s

0

c(Xu) du).

Appliquant la formule d’Ito, on a

d(v(s,Xs)Zs) = �v(s,Xs)c(Xs)Zs ds+ Zs dv(s,Xs)

= Z{@v@s

+ (L� c)v} ds+ Z@v

@x� dBs.

Page 133: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

10.9 Processus de Markov 133

Vu que @v@x est bornee et que 0 Zs 1, E(

R t0

Zs@v@x �(Xs) dBs) = 0. D’autre part

@v@s (s, x) = �@u

@s (t� s, x) et donc

@v

@s(s, x) + (L� c)v(s, x) = �@u

@s(t� s, x) + (L� c)u(t� s, x) = 0

On a doncE(v(t,Xt)Zt) = E(v(0, X

0

)Z0

)

mais, puisque u(0, Xt) = �(Xt),

E(v(t,Xt)Zt)� E(v(0, X0

)Z0

) = E(u(0, Xt)Zt)� u(t, x) = E(�(Xt)Zt)� u(t, x)

et l’on obtientu(t, x) = E(�(Xt)Zt).

Page 134: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

134 Calcul stochastique a temps continu, par rapport au brownien

Page 135: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 11

Black et Scholes

11.1. Introduction

Nous allons maintenant etudier l’evaluation d’actifs derives en temps continu, en nousconcentrant sur le modele de loin le plus important, le modele de Black et Scholes.On va voir qu’il s’applique dans un cadre plus large que celui du temps discret, etqu’il donne souvent des formules explicites.

11.2. Le modele

On considere le modele classique de Black et Scholes: un horizon T , deux actifsSt, Bt, 0 t T, ou

Bt = ert, donc dBt = rBt dt

dSt = µSt dt+ �St dWt

et W est un mouvement brownien sur un espace (⌦,F ,P), ou P est une probabilite.En fait ce P va jouer exactement le role de la mesure de reference m que l’on avaitintroduite dans le cas discret (⌦ est forcement un tres gros espace puisqu’on peuty definir le mouvement brownien. En un sens, il contient l’ensemble des fonctionscontinues, et sur ce dernier il n’y a pas de mesure de reference canonique, P va jouerce role).

Pour garder la tradition financiere on appelle B l’actif non risque (B pour Bondou Banque), a ne pas confondre avec un mouvement brownien.

L’introduction de l’equation donnant St vient du fait que, intuitivement dSt/St

est le rendement du spot, et qu’il est a peu pres constant egal a µdt a une (petite)perturbation aleatoire �dWt. L’ ”amplitude” de cette perturbation est mesuree par�, parametre tres important qu’on appelle la volatilite de l’actif St.

Page 136: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

136 Black et Scholes

11.2.1. Le spot

Le spot St est un processus continu adapte defini par l’equation stochastique

dSt = µSt dt+ �St dWt,

autrement dit

St = S0

+

Z t

0

µSu du+

Z t

0

�Su dWu.

Lemme 11.2.1 Pour tout a 2 R on note S(a)t la solution de

dS(a)t = aS(a)

t dt+ �S(a)t dWt, S(a)

0

= S0

Alors, pour tout a, b 2 R S(a)t = et(a�b)S(b)

t .

Preuve: Appliquons la formule d’Ito a f(t, x) = et(a�µ)x au processus d’Ito St:

et(a�µ)St = f(t, St) = S0

+

Z t

0

(a� µ)et(a�µ)Su du+

Z t

0

et(a�µ)dSu

Donc dS(a)t = (a+ µ)S(a)

t dt+ �S(a)t dWt. ⇤

Si on choisit a = 0 on obtient

dS(0)

t = �S(0)

t dWt

(qui est une martingale locale, comme integrale stochatique). On a deja vu que leprocessus

S0

e�Wt��2

2 t

verifiait cette equation et c’est la seule (car coe�cient lipschitzien, par exemple).Remarquons que c’est une vraie martingale (martingale exponentielle du brownien).On obtient donc

Proposition 11.2.2 Pour tout a 2 R,

S(a)t = S

0

e(a��2

2 )t+�Wt

en particulier,

St = S0

e(µ��2

2 )t+�Wt . (11.1)

Comme dans les chapitres precedents on considere les prix reactualises par Bt, en lessurmontant d’un tilde. On a

St = e�rtSt

Il resulte du lemme, en prenant a = �r que

dSt = (µ� r)St dt+ �St dWt. (11.2)

Page 137: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

11.3 Portefeuille autofinance 137

11.3. Portefeuille autofinance

Par analogie avec le cas discret,

Definition 11.3.1 On appelle portefeuille un processus Vt s’ecrivant

Vt = ↵tSt + �tBt

avec ↵,� adaptes continus. Il est dit autofinance si

dVt = ↵t dSt + �t dBt.

Remarquons qu’en temps continu, dans le cadre des processus continus, il n’y a pasde distinction intuitive entre previsible et adapte.

Lemme 11.3.2 Si V est un portefeuille autofinance dans la marche (S,B), alorsVt = e�rtVt autofinance dans la marche (S, 1)

dVt = ↵t dSt (11.3)

Preuve: Puisque Vt = ↵tSt+�t, il su�t de montrer la formule (11.3). En appliquantla formule d’Ito a f(t, x) = e�rtx comme au-dessus

d(e�rtVt) = d(f(t, Vt)) = �re�rtVt dt+ e�rtdVt

= �re�rt(↵tSt + �tert) dt+ e�rt(↵t dSt + �t re

rt dt)

= ↵t(�re�rtSt dt+ e�rt dSt)

= ↵t dSt

puisque, par Ito,

dSt = �re�rtSt dt+ e�rtdSt.

11.4. AOA et l’univers risque neutre

Nous ne reprenons pas la discussion sur l’absence d’opportunite d’arbitrage que nousavons developpe en temps discret. Comme dans ce cas elle est equivalente a l’existenced’une mesure martingale P equivalente a P, ou

Definition 11.4.1 On appelle mesure martingale une probabilite P sur FT pourlaquelle St, 0 t T, est une martingale locale.

Page 138: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

138 Black et Scholes

et on dit que le marche est viable si elle existe. Posons Wt = Wt � r�µ� t, alors, par

(11.2),

dSt = �St dWt (11.4)

avec Wt = Wt � r�µ� t. Par le theoreme de Girsanov, on sait que si on choisit, sur FT ,

dP = ecWT� c2

2 T dP

pour c = r�µ� , alors Wt, 0 t T, est un brownien sur (⌦,Ft, P). Alors, par (11.4),

St = S0

e�ˆWt��2t

2 (11.5)

est bien une martingale sous P . Donc,

Theoreme 11.4.2 Le marche est viable de mesure martingale P.

11.5. Marche complet

On vient de voir que le marche est viable. En fait, et c’est le point clef,

Theoreme 11.5.1 Le marche est complet.

Par definition, ceci signifie que tout actif (donc toute variable aleatoire FT mesurableest replicable). Cela resulte du theoreme de representation des martingales du a Ito.Contentons nous de montrer (ce qui nous su�ra pour Black et Scholes) que

Theoreme 11.5.2 Tout actif de la forme ZT = �(ST ) pour lequel ZT est P integrableest replicable.

Preuve analytique. On cherche donc un processus adapte continu ↵t tel que leprocessus defini par

dVt = ↵t dSt

verifie VT = �(ST ), ce qui s’ecrit

VT = e�rTVT = e�rT�(erT ST ) = (ST )

en posant (x) = e�rT�(erTx). Cherchons V sous la forme

Vt = f(t, St)

ou f est une fonction de classe C2. Par la formule d’Ito

dVt = d(f(t, St)) =@f

@t(t, St) dt+

@f

@x(t, St) dSt +

1

2

@2f

@x2(t, St)�

2S2

t dt.

Page 139: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

11.5 Marche complet 139

Il “su�t” donc de choisir f de telle sorte que

@f

@t(t, x) +

�2

2

@2f

@x2(t, x)x2 = 0

f(T, x) = (x) = e�rT�(erTx)

(cette equation est appelee parfois l’EDP du produit, elle et ses generalisations fontle lien entre les mathematiques financieres et l’analyse numerique). Alors

dVt =@f

@x(t, St) dSt

et on peut prendre

↵t =@f

@x(t, St).

Preuve probabiliste. Plutot que de resoudre cette EDP nous allons proceder defacon probabiliste. Soit P la mesure martingale introduite au dessus. On a vu (11.4)que

dSt = �St dWt

et que Wt est un mouvement brownien sous P. On cherche dVt = ↵t dSt donc on veutque Vt soit une martingale (en tout cas locale) avec VT = (ST ). Le candidat est

Vt = E( (ST )|Ft)

en notant E l’esperance pour la probabilite P. Utilisons alors l’expression explicite11.5 pour ecrire que, pour 0 t T ,

ST = S0

e�ˆWT��2T

2 = S0

e�(ˆWt+ ˆWT� ˆWt)��2T

2

= S0

e�ˆWt��2t

2 eˆWT� ˆWt��2(T�t)

2

donc

ST = SteˆWT� ˆWt��2(T�t)

2

Puisque St est Ft mesurable et WT �Wt independant de Ft de meme loi que GpT � t

ou G est une variable gaussienne N(0, 1) on a donc

Vt = E( (ST )|Ft) = f(t, St)

si on pose

f(t, x) =1p2⇡

Z+1

�1 (xe�y

pT�t��2(T�t)

2 )e�y2/2 dy.

donc

f(t, x) =1p2⇡

Z+1

�1e�rT�(xerT e�y

pT�t��2(T�t)

2 )e�y2/2 dy.

Page 140: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

140 Black et Scholes

On a donc trouve l’expression de f . (Remarque il n’y a qu’une martingale prenantla valeur (ST ) en T on a donc bien le meme portefeuille que dans l’approche ana-lytique).

On appelle delta de l’option la part ↵t du portefeuille dans l’actif. Il est importantcar il permet de constituer explicitement ce portefeuille.

Theoreme 11.5.3 En particulier le prix de l’option est

V0

= V0

= f(0, S0

)

et le delta de l’option est

↵t =@f

@x(t, St).

11.6. Formules de Black et Scholes

On applique ce qui precede dans le cas des Call et des Put europeens. La valeur deces actifs (derives) a l’instant final T est

(ST �K)+

pour un Call et(K � ST )

+

pour un Put. On obtient par un calcul fastidieux mais facile, pour un Call

C = S0

N(d1

)�Ke�rT N(d2

)

ou

N(x) =1p2⇡

Z x

�1e�u2/2 du

et

d1

=log(S

0

/K) + T (r + �2

2

)

�pT

d2

= d1

� �pT

Pour un putP = �S

0

N(�d1

) +Ke�rT N(�d2

)

Remarquons la relation de parite Call-Put qui s’obtient aussi directement ainsi(puisque (x+)� (�x)+ = x),

C � P = e�rT E((ST �K)+)� e�rT E((K � ST )+) = e�rT E(ST �K)

= e�rT E(ST )� e�rTK = S0

� e�rTK

puisque St est une martingale sous P.Dans ce cadre, on a comme on l’a vu en temps discret: Call americain=Call

europeen, mais pas d’analogue pour les put ou il faut utiliser l’arret optimal.

Page 141: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

11.7 Implementation 141

11.7. Implementation

11.7.1. Volatilite implicite

11.7.2. Gestion Delta neutre

11.8. Generalisations du modele de Black et Scholes

Afin de traiter les options sur futures, devises, actions avec dividendes, etc.. on intro-duit la notion de cout de portage de l’actif S.

On suppose que le fait de detenir l’actif coute pendant un temps court dt, lasomme St dt. Nous verrons plus bas les exemples principaux. Si a l’instant t, unportefeuille est comme d’habitude

Vt = ↵tSt + �tBt

a l’instant t+ dt il vaudra (si il n’y a aucun apport ni retrait d’argent)

Vt+dt = ↵tSt+dt � ↵tSt dt+ �tBt+dt

doncdVt = ↵tdSt � ↵tStdt+ �tdBt.

Si on pose St = e�tSt on a

dSt = e�tdSt � e�tSt dt

doncVt = ↵te

tSt + �tBt

etdVt = ↵te

tdSt + �tdBt.

autrement dit, si on pose �t = ↵tet,

Vt = �tSt + �tBt

etdVt = �tdS

t + �tdBt.

On voit donc que la notion de portefeuille autofinance est un peu di↵erente, il fautremplacer St par St .

On obtient donc pour un Call, puisque

(ST �K)+ = (eTST �K)+ = eT (ST �Ke�T )+

C = eTS0

N(d1

)�Ke�rT N(d2

)

Page 142: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

142 Black et Scholes

ou

N(x) =1p2⇡

Z x

�1e�u2/2 du

et

d1

=log(S

0

eT /K) + T (r + �2

2

)

�pT

=log(S

0

/K) + T (r + + �2

2

)

�pT

=

d2

= d1

� �pT

11.8.1. Cas particulier

• Formule de Black Scholes Merton: Cas avec dividende: = �dividende

• Formule de Black: Cas d’option sur future (on peut placer la valeur de l’actifcar il n’est pas mobilise): = �r

• Formule de Garman Kohlagen: Cas d’option sur devise (on peut placer la valeurde l’actif car il n’est pas mobilise): = �taux de la devise etrangere

Options sur denree, etc...

Page 143: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

Chapitre 12

Controle et gestion deportefeuille en temps continu

Ce court chapitre est une introduction au modele de gestion de portefeuille de Merton.On ne donne que les idees, sans les preuves.

12.1. Le cadre du controle de di↵usions

On considere une equation di↵erentielle stochastique en dimension 1 (pour simplifier)s’ecrivant

dXt = b(t,Xt, ⌫(t,Xt))dt+ �(t,Xt, ⌫(t,Xt))dWt

ou W est un brownien, et (t, x, u) 7! b(t, x, u) et (t, x, u) 7! �(t, x, u) sont au moinscontinues (en fait lipschitzien en x uniformement pour t, u dans un compact). Ici lafonction ⌫ va jouer le role du controle, on la prendra au moins continue egalement.Pour T > 0 fixe, on pose, si 0 s T

J(s, x, ⌫) = E(Z T

sc(t,Xt, ⌫(t,Xt)) + �(XT )|Xs = x)

et on cherche

max⌫

J(0, x, ⌫)

le maximum etant pris sur toutes les fonctions ⌫ a valeurs dans un ouvert O.

12.2. L’equation HJB

Posons, pour 0 s T

J(s, x) = max⌫

J(s, x, ⌫)

Page 144: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

144 Controle et gestion de portefeuille en temps continu

Definition 12.2.1 L’equation de Hamilton Jacobi Bellman (HJB) associee est

0 =@J

@t(t, x) + max

u2O[c(t, x, u) + b(t, x, u)

@J

@x(t, x) +

1

2�2(t, x, u)

@2J

@x2(t, x)] (12.1)

avec la condition frontiereJ(T, x) = �(x).

Donnons une approche heuristique de cette equation. Pour un entier n > 0 fixe,posons tk = kT/n, et considerons l’approximation discrete du probleme:

X(n)tk+1

= X(n)tk

+b(tk, X(n)tk

, ⌫(tk, X(n)tk

))(tk+1

�tk)+�(tk, X(n)tk

, ⌫(tk, X(n)tk

))(Wtk+1�Wtk)

avec les criteres

J (n)(tk, x, ⌫) = E(Tn

n�1X

r=k

c(tr, X(n)tr , ⌫(tr, X

(n)tr )) + �(X(n)

tn )|X(n)tk

= x)

On poseJ (n)(tk, x) = max

⌫J (n)(tk, x, ⌫)

La programmation dynamique en temps discret du modelemarkovien s’applique acette situation et l’algorithme de Bellman nous dit que, pour

J (n)(tn, x) = �(x),

si 0 k < n,

J (n)(tk, x) = maxu2O

[T

nc(tk, x, u) + E(J (n)(tk+1

, X(n)tk+1

)|X(n)tk

= x)]

que l’on reecrit

0 = maxu2O

[T

nc(tk, x, u) + E(J (n)(tk+1

, X(n)tk+1

)� J (n)(tk, x)|X(n)tk

= x)]

Imaginons, ce qui est beaucoup demande..., que J (n) est tres proche de sa limite J , queX(n) est tres proche de sa limite X, donc qu’on remplace chacun par sa limite et queJ est su�sament reguliere pour appliquer la formule d’Ito, alors, approximativement,

J (n)(tk+1

, X(n)tk+1

)� J (n)(tk, X(n)tk

) ⇠

J(tk+1

, Xtk+1)� J(tk, Xtk) =

=

Z tk+1

tk

@

@tJ(s,Xs)ds+

@

@xJ(s,Xs)dXs +

1

2

@2

@x2J(s,Xs)�

2(s,Xs)ds ⇠

Page 145: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

12.3 Le modele de consommation investissement de Merton 145

=T

n[@

@tJ(tk, Xtk) +

1

2

@2

@x2J(tk, Xtk)�

2(tk, Xtk)] +@

@xJ(tk, Xtk)(Xtk+1 �Xtk).

En utilisant que

X(n)tk+1

= X(n)tk

+b(tk, X(n)tk

, ⌫(tk, X(n)tk

))(tk+1

�tk)+�(tk, X(n)tk

, ⌫(tk, X(n)tk

))(Wtk+1�Wtk)

on en deduit que

E(J (n)(tk+1

, X(n)tk+1

)� J (n)(tk, x)|X(n)tk

= x) ⇠

=T

n[@

@tJ(tk, x) +

1

2

@2

@x2J(tk, x)�

2(tk, x) +@

@xJ(tk, x)b(t, x, u)]

d’ou l’equation HJB

0 = maxu2O

[c(tk, x, u) +@

@tJ(tk, x) +

1

2

@2

@x2J(tk, x)�

2(tk, x) +@

@xJ(tk, x)b(tk, x, u)]

Faute de temps, nous n’irons pas plus loin dans la justification. Montrer que la con-dition est su�sante (et c’est l’important pour les applications) ne serait pas tresdi�cile).

12.3. Le modele de consommation investissement de Mer-ton

Reprenons le modele a deux actifs de Black et Scholes, donc un actif sans risqueBt = ert et un actif risque St satisfaisant a

dSt = µStdt+ �StdWt

ou W est un brownien. On considere un portefeuille

Vt = ↵tSt + �tBt

et l’on suppose ↵t et �t positifs. On note Ut la proportion du portefeuille investiedans l’actif risque, donc

Ut =↵tSt

Vt,

On a 0 � Ut 1. Si le portefeuille est autofinance, alors

dVt = ↵tdSt + �tdBt.

puisque�tdBt = r�tBtdt = r(Vt � ↵tSt)dt = r(Vt � UtVt)dt

et↵tdSt = ↵tSt(µdt+ �dWt) = UtVt(µdt+ �dWt),

Page 146: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

146 Controle et gestion de portefeuille en temps continu

on a

dVt = (1� Ut)Vtrdt+ UtVt(µdt+ �dWt)

Supposons maintenant que l’on veuille consommer une partie de ce portefeuille. Sion note Yt la consommation a l’instant t par unite de temps, le portefeuille n’est plusautofinance et on on obtient la nouvelle equation,

dVt = (1� Ut)Vtrdt+ UtVt(µdt+ �dWt)� Ytdt

On considere le couple (Ut, Yt) comme le controle a valeurs dans [0, 1] ⇥ R+, et oncherche a maximiser

E(Z T

0

Y t + ✓VT )

ou 0 < < 1 et ✓ 2 R, noter que ce cout est concave. L’equation HJB s’ecrit

0 =@J

@t(t, x) + max

(u,y)2O[y + (1� u)xr + uxµ� y)

@J

@x(t, x) +

1

2�2x2u2

@2J

@x2(t, x)]

ou O =]0, 1[⇥R+

⇤ et J(T, x) = ✓x. Regardons ou la di↵erentielle en (u, y) est nulle,pour (t, x) fixe.

@

@u[y + ((1� u)xr + uxµ� y)

@J

@x(t, x) +

1

2�2x2u2

@2J

@x2(t, x)] = 0

donc

(�xr + xµ)@J

@x(t, x) + �2x2u

@2J

@x2(t, x) = 0

et@

@y[y + (1� u)xr + uxµ� y)

@J

@x(t, x) +

1

2�2x2u2

@2J

@x2(t, x)] = 0

donc

y�1 � @J

@x(t, x) = 0.

On en deduit que

u =r � µ

�2xJxx, y = (

Jx)1/�1

Si, par la suite on verifie que ceci est dans O, on aura reussi a resoudre le probleme.Pour cela on remplace u et y par ces valeurs dans l’equation HJB. On obtient

0 = Jt + (Jx/)(/�1) + xrJx �

(µ� r)2J2

x

2�2Jxx� (1/)1/�1(Jx)

/�1

On cherche une solution sous la forme

J(t, x) = (t)1�x

Page 147: Calcul et Controle Stochastiqueˆ - lpsm.paris · Chapitre 1 Introduction 1.1. Plan De nombreux ph´enom`enes d´ependent en partie du hasard, il sutdepenser`alam´et´eo de demain

12.3 Le modele de consommation investissement de Merton 147

On trouve en remplacant que 0 = � � 1 ou

� =

� 1(r +

(µ� r)2

2�2(1� )).

On en deduit que (t) = (✓1/1� � 1/)e�(t�T ) + 1/�

ce qui donne J puisy = x/ (t), u = (µ� r)/�2(1� ).

N’oublions pas que se placer dans l’univers risque neutre revient a prendre µ = r,mais que l’on veut peut etre maximiser l’esperrance dans le monde reel !