Theorem Central Limite

LE THEORE`ME CENTRAL LIMITE

OLIVIER CASTERA

Resume. Le theore`me central limite etablit que la loi normale

apparat chaque fois que la grandeur aleatoire observee peut etre

presentee comme la somme dun nombre suffisamment grand de

composantes elementaires independantes ou faiblement liees, dont

chacune influe peu sur la somme.

Table des matie`res

1. Variable aleatoire. Esperance. Moments. Variance. 12. Inegalite de Bienayme-Tchebychev 33. Fonctions de variables aleatoires 43.1. Somme de deux variables aleatoires 63.2. Produit de deux variables aleatoires 84. Theore`me central limite 94.1. Fonction caracteristique 94.2. Fonction caracteristique de la loi normale 104.3. Somme de deux lois normales 114.4. Theore`me central limite 115. Les lois des grands nombres 145.1. Theore`me de Tchebychev 145.2. Theore`me de Tchebychev generalise 155.3. Theore`me de Markov 16

1. Variable aleatoire. Esperance. Moments. Variance.

Definition 1.1. On appelle variable aleatoire discre`te X , une fonctionqui associe a` chaque resultat dune experience, une valeur xi inconnuedavance, parmi un ensemble de valeurs possibles x1, . . . , xn.

Definition 1.2. On appelle variable aleatoire continue X , une fonctionqui associe a` chaque resultat dune experience, une valeur x inconnuedavance, sur un ensemble fini ou non de valeurs possibles [a, b].

Definition 1.3. On appelle esperance mathematique ou valeur moyen-ne de la variable aleatoire discre`te X , la somme des produits de toutes

Date: 25 aout 2013.

1

2 OLIVIER CASTERA

les valeurs xi possibles de cette variable par les probabilites pi de cesvaleurs. On la note E[X ] ou M [X ] ou mx ou encore x. On a

E[X ]=

ni=1

xipi

Dans le cas dune variable aleatoire continue X , on a

E[X ]=

+

xf(x)dx

Definition 1.4. On appelle moment initial dordre s dune variablealeatoire discre`te X , la fonction s[X ] definie par

s[X ]=

ni=1

xsi Pi

Initial signifiant que le moment est calcule par rapport a` lorigine descoordonnees. Dans le cas dune variable aleatoire continue X , on a

s[X ]=

+

xsf(x)dx

Par consequent le moment dordre un, 1[X ], se confond avec les-perance mathematique E[X ] de la variable aleatoire X

1[X ]= E[X ]

Les moments permettent de caracteriser la loi de probabilite P, endonnant sa position, son degre de dispersion, et sa forme.

Definition 1.5. On appelle variable aleatoire centree associee a` X , etlon note X , la difference

X= X E[X ]

Definition 1.6. On appelle moment centre dordre s dune variablealeatoire discre`te X , la fonction s[X ] definie par

s[X ]=

ni=1

(xi mx)sPi


s[X ]=

+

(xi mx)sf(x)dx

Theore`me 1.1. Pour toute variable aleatoire, le moment centre dor-

dre un est nul.

LE THEORE`ME CENTRAL LIMITE 3

Demonstration.

E[X ] = E[X E[X ]]= E[X ]E[X ]= 0

Definition 1.7. On appelle variance de la variable aleatoire discre`teX ,son moment centre dordre deux. On la note V [X ] ou Vx ouD[X ] ouDx.

V [X ]=

ni=0

xi2Pi


V [X ]=

+

xi2f(x)dx

De part sa definition, la variance est lesperance mathematique ducarre de la variable aleatoire centree associee a` X .

V [X ]= E[X2]

2. Inegalite de Bienayme-Tchebychev

Theore`me 2.1. Soit X une variable aleatoire desperance mathema-tique E[X ] et de variance V [X ]. Pour tout reel positif , la probabilitepour que X seloigne de son esperance mathematique dune grandeur

superieure ou egale a` , a pour limite superieureV [X ]

2:

P (|X E[X ]| > ) 6 V [X ]2

Demonstration. Effectuons dabord la demonstration pour une variablealeatoire discre`te, X , dont la suite de repartition est donnee par :

x1 x2 x3 . . . xnp1 p2 p3 . . . pn

ou` pi = P (X = xi) est la probabilite pour que la variable aleatoire Xprenne la valeur xi. Soit un reel positif,

P (|X E[X ]| > ) =

|xiE[X]|>pi

Or,

V [X ] =

ni=1

(xi E[X ])2pi

=ni=1

|xi E[X ]|2pi


Soit Z une fonction de la variable aleatoire X

Z = (X)

son tableau de repartition est alors le suivant

(x1) (x2) (x3) . . . (xn)

p1 p2 p3 . . . pn

Son esperance mathematique E[Z] est donnee par

E[Z] = E[(X)]

=ni=1

(xi)pi

Lorsque la variable aleatoire X est continue, on a

E[Z] =

+

(x)f(x)dx

Lorsque Z est une fonction de deux variables aleatoires, X et Y

Z = (X, Y )

son tableau de repartition est le suivant

(x1, y1) (x1, y2) (x1, y3) . . . (x1, yn)

p11 p12 p13 . . . p1n(x2, y1) (x2, y2) (x2, y3) . . . (x2, yn)

p21 p22 p23 . . . p2n(x3, y1) (x3, y2) (x3, y3) . . . (x3, yn)

p31 p32 p33 . . . p3n. . .

(xn, y1) (xn, y2) (xn, y3) . . . (xn, yn)

pn1 pn2 pn3 . . . pnn

ou` pij = P [(X = xi)(Y = yj)] est la probabilite pour que le syste`me(X, Y ) prenne la valeur (xi, yj). Son esperance mathematique E[Z] estdonnee par

E[Z] = E[(X, Y )]

=ni=1

nj=1

(xi, yj)pij (1)

Lorsque les variables aleatoires X et Y sont continues, on a

E[Z] =

+

(x, y)f(x, y)dxdy (2)

6 OLIVIER CASTERA

3.1. Somme de deux variables aleatoires.

Theore`me 3.1. Lesperance mathematique dune somme de deux vari-

ables aleatoires est egale a` la somme de leurs esperances mathemati-

ques.

E[X + Y ] = E[X ] + E[Y ]

Demonstration. Soient X et Y deux variables aleatoires discre`tes. Aveclequation (1) on a

E[X + Y ] =ni=1

nj=1

(xi + yj)pij

=

ni=1

nj=1

xipij +

ni=1

nj=1

yjpij

=

ni=1

(xi

nj=1

pij

)+

nj=1

(yj

ni=1

pij

)

=ni=1

xipi +nj=1

yjpj

= E[X ] + E[Y ]

Demonstration. Soient maintenant X et Y deux variables continues.Avec lequation (2) on a

E[X + Y ] =

+

(x+ y)f(x, y)dxdy

=

+

xf(x, y)dxdy +

+

yf(x, y)dxdy

=

+

x

( +

f(x, y)dy

)dx+

+

y

( +

f(x, y)dx

)dy

=

+

xf1(x)dx+

+

yf2(y)dy

= E[X ] + E[Y ]

Definition 3.1. On appelle covariance des variables aleatoires X etY , lesperance mathematique du produit des deux variables aleatoirescentrees X et Y associees a` X et Y . Elle se note Kxy

Kxy= E[XY ]


Theore`me 3.2. La variance de la somme de deux variables aleatoires

est egale a` la somme de leurs variances a` laquelle sajoute la double

covariance.

V [X + Y ] = V [X ] + V [Y ] + 2Kxy

Demonstration. Soit la variable aleatoire Z telle que

Z = X + Y

En utilisant le theore`me 3.1, on a

E[Z] = E[X + Y ]

= E[X ] + E[Y ]

Donc

Z E[Z] = X E[X ] + Y E[Y ]Z = X + Y

Par definition de la variance

V [Z] = E[Z2]

= E[(X + Y )2]

= E[X2 + Y 2 + 2XY ]

= E[X2] + E[Y 2] + 2E[XY ]

= V [X ] + V [Y ] + 2Kxy

Definition 3.2. Les variables aleatoires X et Y sont dites independan-tes si la loi de repartition de chacune delles ne depend pas des valeursprises par lautre.La probabilite dun syste`me de variables aleatoires discre`tes indepen-dantes est egale au produit des probabilites des variables du syste`me

Pij = P [(X = xi)(Y = yj)]

= P [(X = xi)]P [(Y = yj)]

= PiPj

La densite de probabilite dun syste`me de variables aleatoires contin-ues independantes est egale au produit des densites des variables dusyste`me

f(x, y) = f1(x)f2(y)

Theore`me 3.3. La covariance Kxy de variables aleatoires X et Y in-dependantes est nulle.

8 OLIVIER CASTERA

Demonstration. Considerons des variables aleatoires discre`tes

Kxy =ni=1

nj=1

(xi mx)(yj my)Pij

dapres la definition (3.2) des variables independantes

Pij = PiPj

Donc,

Kxy =ni=1

(xi mx)Pinj=1

(yj my)Pj

Ces sommes sont respectivement le moment centre dordre un de X etde Y , elles sont nulles dapre`s le theore`me 1.1, et

Kxy = 0

Demonstration. Considerons maintenant des variables aleatoires con-tinues

Kxy =

+

(xmx)(y my)f(x, y)dxdy

dapres la definition (3.2) des variables independantes

f(x, y) = f1(x)f2(y)

Donc,

Kxy =

+

(xmx)f1(x)dx +

(y my)f2(y)dy

Ces integrales sont respectivement le moment centre dordre un de Xet de Y , elles sont nulles dapre`s le theore`me 1.1, et

Kxy = 0

3.2. Produit de deux variables aleatoires.

Theore`me 3.4. Lesperance mathematique du produit de deux vari-

ables aleatoires X et Y est egale au produit de leurs esperances mathe-matiques plus la covariance

E[XY ] = E[X ]E[Y ] +Kxy


Demonstration. Dapre`s la definition (3.1) de la covariance

Kxy = E[XY ]

= E[(X E[X ])(Y E[Y ])]= E[XY XE[Y ] E[X ]Y + E[X ]E[Y ]]= E[XY ] E[XE[Y ]]E[E[X ]Y ] + E[E[X ]E[Y ]]= E[XY ] E[X ]E[Y ]E[X ]E[Y ] + E[X ]E[Y ]= E[XY ] E[X ]E[Y ]

4. Theore`me central limite

4.1. Fonction caracteristique.

Definition 4.1. On appelle fonction caracteristique de la variablealeatoire discre`te X , lesperance mathematique de la fonction exp (itX)

g(t) =

nk=1

eitxkpk

= E[eitX

]On appelle fonction caracteristique de la variable aleatoire continue X ,la transformation de Fourier de sa densite de probabilite f(x)

g(t) =

+

eitxf(x)dx

= E[eitX

]Theore`me 4.1. Si deux variables aleatoires X et Y sont liees par larelation

Y = aX

ou` a est un facteur non aleatoire, leurs fonctions caracteristiques sontliees par la relation

gy(t) = gx(at)

Demonstration.

gy(t) = E[eitY

]= E

[eitaX

]= E

[ei(at)X

]= gx(at)

Theore`me 4.2. La fonction caracteristique dune somme de variables

aleatoires independantes est egale au produit des fonctions caracteris-

tiques des composantes.

10 OLIVIER CASTERA

Demonstration. Soient X1, X2, . . . , Xn, des variables aleatoires inde-pendantes de fonctions caracteristiques gx1, gx2, . . . , gxn, et de somme

Y =

nk=1

Xk

La fonction caracteristique de Y secrit

gy(t) = E[eitY

]= E

[eit

nk=1Xk

]

= E

[n

k=1

eitXk

]

Les variables aleatoires Xk etant independantes, les fonctions eitXk le

sont egalement et lon peut utiliser le theore`me 3.4

gy(t) =n

k=1

E[eitXk

]

=n

k=1

gxk(t)

4.2. Fonction caracteristique de la loi normale.

Theore`me 4.3. La fonction caracteristique de la loi normale despe-

rance mathematique mx nulle et de variance 2 secrit

g(t) = et22/2

Demonstration. Soit une variable aleatoire continue X repartie suivantla loi normale, desperance mathematique mx nulle, et de variance

2.Sa densite de probabilite f(x) secrit

f(x) =1

2pi

ex2/(22)

Sa fonction caracteristique secrit

g(t) =1

2pi

+

eitxex2/(22)dx

=1

2pi

+

eitxx2/(22)dx

On utilise la formule suivante +

eAx22BxC dx =

pi

Ae(ACB

2)/A


On identifie : A = 1/(22), B = it/2, et C = 0. Dou`

g(t) =1

2pi

2pi2 e(t

2/4)22

= et22/2

4.3. Somme de deux lois normales.

Theore`me 4.4. La somme de deux lois normales est une loi normale.

Demonstration. Soient X et Y deux variables aleatoires continues in-dependantes dont les densites de probabilite se repartissent selon deslois normales

f(x) =1

x2pi

ex2/(22x)

f(y) =1

y2pi

ey2/(22y)

Dapre`s la definition 4.1, leurs fonctions caracteristiques secrivent

gx(t) = et22x/2

gy(t) = et22y/2

Dapre`s le theore`me 4.2, la fonction caracteristique gz(t) de leur sommeest egale au produit des fonctions caracteristiques

gz(t) = gx(t) gy(t)= et

22x/2 et22y/2

= et2(2x+

2y)/2

qui, dapre`s le theore`me 4.3, est la fonction caracteristique dune loinormale desperance mathematique mz nulle et de variance

2x+

2y .

4.4. Theore`me central limite.

Theore`me 4.5. Soient X1, X2, . . . , Xn, des variables aleatoires inde-pendantes de meme loi de repartition, desperance mathematique mx etde variance 2. Lorsque n augmente indefiniment la loi de repartitionde la somme

Yn =1n

nk=1

Xk

tend vers la loi normale.

Demonstration. Notez bien que le facteur 1/n est necessaire pour

la demonstration, mais que la convergence de Yn vers la loi normaleentrane celle de la somme des variables aleatoires

nk=1Xk. Nous

allons utiliser les fonctions caracteristiques et nous admettrons sans

12 OLIVIER CASTERA

demonstration que la convergence des fonctions caracteristiques en-trane celle des lois. Dapre`s le theore`me 4.1, la fonction caracteristiquede Yn est egale a`

gyn(t) = g1/n

nk=1Xk

= gnk=1Xk

(tn

)Dapre`s le theore`me 4.2, la fonction caracteristique de Yn est egale auproduit des fonctions caracteristiques des Xk

gyn(t) =

[gx

(tn

)]n(3)

La fonction caracteristique de chaque Xk secrit

gx

(tn

)=

+

eixt/nf(x)dx

Effectuons un developpement limite au voisinage de zero, a` lordre 3

gx

(tn

)= gx(0) + g

x(0)

(tn

)+

[gx(0)2

+ o

(tn

)]t2

n(4)

ou` limt/n0

o

(tn

)= 0

Calculons chacun des termes

gx(0) =

+

f(x)dx

= 1

En derivant on a

gx

(tn

)=

+

ixeixt/nf(x)dx

= i

+

xeixt/nf(x)dx

en posant t/n = 0 on a

gx(0) = i +

xf(x)dx

= imx

On ne restreint pas la generalite en transferant lorigine au point mx,on a alors mx = 0, et

gx(0) = 0

En derivant une deuxie`me fois

gx

(tn

)=

+

x2eixt/nf(x)dx


en posant t/n = 0

gx(0) = +

x2f(x)dx

et comme on a pose E[X ] = 0, dapre`s la definition 1.7 lexpressionprecedente nest rien dautre que lopposee de la variance

gx(0) = 2En substituant ces resultats dans lequation (4), lorsque t/

n 0

gx

(tn

)= 1

[2

2 o

(tn

)]t2

n

puis dans lequation (3)

gyn(t) =

{1

[2

2 o

(tn

)]t2

n

}nPrenons le logarithme de cette expression

ln gyn(t) = n ln

{1

[2

2 o

(tn

)]t2

n

}On pose

=

[2

2 o

(tn

)]t2

n

et lon a

ln gyn(t) = n ln {1 }Lorsque n tend vers linfini, tend vers 0, et ln(1 ) tend vers

limn+

ln gyn(t) = limn+

n()

= limn+

n

[

2

2+ o

(tn

)]t2

n

= t22

2+ lim

n+t2 o

(tn

)Or limt/n0 o(t) = 0, donc

limn+

o

(tn

)= 0

donc

limn+

ln gyn(t) = t22

2

dou`

limn+

gyn(t) = et22/2

qui, dapre`s le theore`me 4.3, est la fonction caracteristique de la loinormale desperance mathematique nulle, et de variance 2.

14 OLIVIER CASTERA

5. Les lois des grands nombres

Les lois des grands nombres affirment la convergence en probabilitedes variables aleatoires vers des grandeurs constantes, lorsque le nombredexperiences augmente indefiniment.

5.1. Theore`me de Tchebychev. Soit une variable aleatoire X , four-nissant lors de n experiences independantes, les valeurs x1, x2, . . . , xn.Afin dutiliser le theore`me 3.1, nous allons considerer que ces valeurssont les resultats dune unique experience realisee sur chacune des nvariables aleatoires independantes X1, X2, . . . , Xn, de meme loi de re-partition que la variable aleatoire X .Plutot que de considerer la somme de ces variables aleatoires, nousconsidererons la moyenne arithmetique de ces variables, autrement ditla somme divisee par n. Soit donc la variable aleatoire Y definie commela moyenne arithmetique de ces n variables aleatoires

Y =1

n

ni=1

Xi

Son esperance mathematique secrit

E[Y ] = E

[1

n

ni=1

Xi

]

=1

nE

[ni=1

Xi

]

Avec le theore`me 3.1 on a

E[Y ] =1

n

ni=1

E[Xi]

=1

nnE[X ]

= E[X ]

La variance de Y secrit

V [Y ] = E[Y 2]

= E

( 1

n

ni=1

Xi

)2

=1

n2E

( n

i=1

Xi

)2

=1

n2V

[ni=1

Xi

]


Avec le theore`me 3.2 et le theore`me 3.3 on a

V [Y ] =1

n2

ni=1

V [Xi]

=1

nV [X ]

Theore`me 5.1. Pour un nombre dexperiences suffisamment grand,

la moyenne arithmetique des valeurs observees dune variable aleatoire

converge en probabilite vers son esperance mathematique

> 0, > 0, n tel que P( 1n

ni=1

Xi E[X ] >

)<

Demonstration. Appliquons a` Y linegalite de Bienayme-Tchebycheven posant =

P (|Y E[Y ]| > ) 6 V [Y ]2

En appliquant les resultats trouves precedemment sur lesperance et lavariance de Y

P

( 1nni=1

Xi E[X ] >

)6V [X ]

n2

et lon pose = V [X ]/(n2). Nous pouvons toujours choisir n suffisam-ment grand pour avoir linegalite ci-dessus, aussi petit que soit .

5.2. Theore`me de Tchebychev generalise. On peut generaliser laloi des grands nombres au cas de variables aleatoires de loi de reparti-tion differentes.

Theore`me 5.2. Soient n variables aleatoires independantes X1, X2,. . . , Xn, de lois de repartition differentes, desperances mathematiquesE[X1], E[X2], . . . , E[Xn], et de variances V [X1], V [X2], . . . , V [Xn]. Sitoutes les variances ont meme limite superieure L

i, V [Xi] < Lpour un nombre dexperiences suffisamment grand, la moyenne arith-

metique des valeurs observees des variables aleatoires X1, X2, . . . , Xn,converge en probabilite vers la moyenne arithmetique de leurs esperan-

ces mathematiques

> 0, > 0, n tel que P( 1n

ni=1

Xi 1n

ni=1

E[Xi]

> )<

Demonstration. Soit la variable aleatoire Y telle que

Y =1

n

ni=1

Xi

16 OLIVIER CASTERA

Appliquons a` Y linegalite de Tchebychev :

> 0, > 0, n tel que P (|Y E[Y ]| > ) < V [Y ]2

P

( 1nni=1

Xi 1n

ni=1

E[Xi]

> ) ) 0, > 0, n tel que P( 1n

ni=1

Xi 1n

ni=1

E[Xi]

> )<

Demonstration. Soit la variable aleatoire Y telle que

Y =1

n

ni=1

Xi

Appliquons a` Y linegalite de Tchebychev :

> 0, > 0, n tel que P (|Y E[Y ]| > ) < V [Y ]2

P

( 1nni=1

Xi 1n

ni=1

E[Xi]

> )

Documents

Theorem Central Limite