TRAITEMENT STATISTIQUE DES DONNÉES · TRAITEMENT STATISTIQUE DES DONNÉES S2-MasterPHEAPC Chapitre 4 : Estimation de paramètre Pr. M. EL KACIMI(1) (1)Université Cadi Ayyad Faculté

TRAITEMENT STATISTIQUE DES DONNEES

S2 - Master PHEAPC

Chapitre 4 : Estimation de parametre

Pr. M. EL KACIMI(1)

(1)Universite Cadi AyyadFaculte des Sciences SemlaliaDepartement de Physique

Annee universitaire 2019/2020


1. Introduction

2. Echantillon et statistique

3. Moyenne et Variance d’un echantillon

4. Criteres de qualite d’une estimation◦ Consistence◦ Biais◦ Variance minimale et efficacite d’un estimateur

5. Statistique suffisante (exhaustive)

6. Methodes d’estimation : Ponctuelle et par intervalle◦ Estimation Ponctuelle

Methode des MomentsMaximum de Vraisemblance (MV)Methode des moindres carres

Traitement Statistique des Donnees 1 ,

Introduction


1. Introduction








Introduction

Introduction

Considerons un modele probabiliste, decrivant un phenomenephysique ou naturel, base sur une fdp f(x) utilise pour estimerles parametres θ1, θ2, · · · a partir d’un echantillon de mesuresindependantes observees x1, x2, · · · , xn.

Considerons, pour simplifier, un seul parametre θ et notonspar f(x; θ) la fdp ou θ est inconnue.

L’estimation de θ consiste a considerer une fonction desobservations, h(x1, · · · , xn) qui donne la meilleure estimationde θ.

=⇒ developper une procedure systematique d’estimation :objectif de ce chapitre.


Echantillon et statistique


1. Introduction









Echantillon et statistiqueEchantillon

Soient x1, · · · , xn n donnees independantes et soit

θ = h(x1, · · · , xn)une estimation du parametre θ.

Si l’on repete l’experience donnant les donnees, l’application de h auxnouvelles donnees =⇒ θ different ;

=⇒ l’estimation θ est une v.a. ayant une fdp qui depend de h et de la fdpde x. On represente θ alors par

Θ = h(X1, · · ·Xn)

ou X1, · · · , Xn sont des v.a. representant un echantillon de la v.a. X et quiverifient

X1, · · · , Xn sont independants deux a deux ;

fXj(x) = fX(x) pour j = 1, · · · , n, ont la meme fdp.

X1, · · · , Xn est appele un echantillon aleatoire de taille n.



Echantillon et statistiqueStatistique

Toute fonction d’un echantillon donne X1, · · · , Xn ne dependant pasdu parametre θ est appelee une statistique.

Definition

=⇒ h(X1, . . . , Xn) est donc une statistique. Sa valeur est calculee pourchaque echantillon de donnees.

=⇒ Une statistique, fonction de v.a., est une v.a a son tour.

=⇒ Lorsqu’une statistique est utilisee pour estimer un parametre, ses pro-

prietes statistiques, moyenne, variance et distribution donnent les informa-

tions concernant la qualite de la procedure utilisee pour l’estimation.

Proprietes


Moyenne et Variance d’un echantillon


1. Introduction









Moyenne et Variance d’un echantillonMoyenne d’un echantillon

La statistique utilisee pour l’estimation de la moyenne d’un echantillon X1, · · · , Xn de taillen est

X =1

n

n∑

i=1

Xi.

Elle est appelee Moyenne de la population X.

Soient µ et σ2 respectivement l’esperance et la variance de la population, E[X] = µ etV [X] = σ2.L’on peut deduire que l’esperance et la variance de la statistique X sont

E[X] =1

n

n∑

i=1

E[Xi] =1

n

n∑

i=1

µ = µ

V [X] = E[(X − µ)2]

= E

(

1

n

n∑

i=1

(Xi − µ)

)2

=1

n2E

n∑

i=1

(Xi − µ)2 +n∑

i 6=j=1

(Xi − µ)(Xj − µ)

=1

n2

n∑

i=1

σ2 +n∑

i 6=j=1

cov(Xi, Xj)

=σ2

nTraitement Statistique des Donnees 8 ,


Moyenne et Variance d’un echantillonMoyenne d’un echantillon

•√V [X] ∝ n−1/2 =⇒ →

n→+∞0 ce qui prouve que si la taille de

l’echantillon augmente, la variance de la statistique X decroit et ladistribution de X se resserre autour de µ ce qui montre bien que Xest une “bonne” estimation de µ.

• La statistique X est une somme independante de v.a., sa loi dedistribution peut etre determinee par la methode des fonctions ca-racteristiques.

• Notons que lorsque la taille de l’echantillon n → +∞, la loi dedistribution de la statistique X peut etre confondue par une loinormale (TLC)

X − µ

σ/√n

→n→+∞

N (0, 1).

Proprietes



Moyenne et Variance d’un echantillonVariance d’un echantillon

La statistique definie par

S2 =1

n− 1

n∑

i=1

(

Xi − X)2

est appelee la variance de l’echantillon de la population X.

Reecrivons l’expression de S2 comme suit

S2 =1

n− 1

n∑

i=1

[

(Xi − µ)− (X − µ)]2

=1

n− 1

n∑

i=1

(Xi − µ)− 1

n

n∑

j=1

(Xj − µ)

2

=1

n

n∑

i=1

(Xi − µ)2 − 1

n(n− 1)

n∑

i 6=j=1

(Xi − µ)(Xj − µ)

et l’esperance de S2 est alors egale a

E[S2] =1

n

n∑

i=1

E[

(Xi − µ)2]

− 1

n(n− 1)

n∑

i 6=j=1

E [(Xi − µ)(Xj − µ)]

= σ2Traitement Statistique des Donnees 10 ,


Moyenne et Variance d’un echantillonVariance d’un echantillon

=⇒ L’utilisation du facteur 1/(n− 1) au lieu de 1/n permet d’avoir E[S2] = σ2, on verra celaen detail dans la suite de ce chapitre.

La variance de la statistique S2 est donnee parV [S2] = E

[

(

S2 − σ2)2]

.Nous avons, Voir TD

V [S2] =1

n

[

µ4 − n− 3

n− 1σ4

]

ou µ4 = E[

(X − µ)4]

est le moment centre d’ordre 4.

=⇒ V [S2] ∝ n−1 →n→+∞

0.

Si S2 est la variance d’un echantillon de taille n d’une population X normaleN (µ, σ2), alors (n− 1)S2/σ2 suit la loi χ2 avec (n− 1) degres de liberte.Posons Y = 1

σ2

∑ni=1(Xi − µ)2, suit χ2(x;n). sachant que

Y − (n− 1)S2

σ2=

[

(X − µ)

(

σ√n

)−1]2

le dernier terme etant le carre d’une v.a. normale alors c’est une v.a. ∼ χ2(x; 1) etcomme Y ∼ χ2(x;n) on deduit le resultat recherche.

Proprietes


Criteres de qualite d’une estimation


1. Introduction










Nous allons presenter par la suite trois criteres qui permettent de caracteriser laqualite d’une estimation.

Comme mentionne auparavant, l’estimation d’un parametre θ =⇒ On cherche unestatistique Θ = h(X1, · · · , Xn) qui donne une bonne estimation de θ.

Cette statistique θ est appelee estimateur de θ .

=⇒ Proprietes de Θ, moyenne, variance et distribution, permettent d’apprecier laqualite de l’estimation.

Θ(X1, · · · , Xn) ⇐⇒ θ(x1, · · · , xn) .

Rappelons que la densite de probabilite jointe de l’echantillon X1, · · · , Xn estdonnee par

f(X1, · · · , Xn; θ) = fX1(X1; θ)× · · · × fXn(Xn; θ)

= fX(X1; θ)× · · · × fX(Xn; θ)

ou nous avons utilise le fait que les Xi sont independants et identiquementdistribues.


Criteres de qualite d’une estimation Consistence

Criteres de qualite d’une estimationConsistence

Un estimateur Θ est dit consistent s’il converge en probabilite vers θ :

ΘP→

n→+∞θ

∀ǫ ∈ R, limn→+∞

P(

|Θ− θ| ≥ ǫ)

= 0.

Definition

Montrons que S2 est consistent. Le parametre a estimer est donc θ = σ2.

Nous avons vu que E[S2] = σ2 et V [S2] = 1n

(

3σ4 − n−3n−1

σ4)

= 2θ2/(n− 1).

L’inegalite de Tchebyshev permet d’ecrire

P(

|S2 − σ2| ≥ ǫ)

≤ E[(S2 − σ2)2]

ǫ2

≤ 1

ǫ2

(

2θ2

n− 1

)

=⇒ limn→+∞

P(

|S2 − σ2| ≥ ǫ)

≤ limn→+∞

1

ǫ2

(

2θ2

n− 1

)

= 0.

Exemple


Criteres de qualite d’une estimation Consistence

Criteres de qualite d’une estimationConsistence

Une deuxieme definition peut etre utilisee pour la consistence comme suit

Soit Θ un estimateur de θ a partir d’un echantillon de taille n. Si

limn→+∞

E[Θ] = θ et limn→+∞

V [Θ] = 0

alors Θ est un estimateur consistant.

Theoreme

• X : E[X] = µ =⇒ limn→+∞

E[X] = µ et V [X] = σ2/n =⇒ limn→+∞

V [X] = 0 ;

• S2 : c’est deja verifie.

Exemple


Criteres de qualite d’une estimation Biais

Criteres de qualite d’une estimationBiais

Un estimateur Θ d’un parametre θ est dit non biaise si

E[Θ] = θ.Il est est clair que cette propriete implique qu’en moyenne, la valeur estimeepar θ est proche de la valeur reelle.

Definition

Revenons sur l’estimation de la variance et prenons

S2∗ =1

n

n∑

i=1

(

Xi − X)2

=n− 1

n

n∑

i=1

(Xi − µ)2 − 1

n2

n∑

i 6=j=1

(Xi − µ)(Xj − µ)

=⇒ E[S2∗] =n− 1

nσ2

et donc S2∗ est biaise.

=⇒ V [S2∗]× nn−1

est sans biais. Qui n’est d’autre que S2.

Proprietes


Criteres de qualite d’une estimation Variance minimale et efficacite d’un estimateur

Criteres de qualite d’une estimationVariance minimale

Si Θ = h(X1, · · · , Xn) est un bon estimateur de θ, non seulement θ doit etre prochede θ mais encore la dispersion des valeurs observees de θ soit la plus petite possible.

Definition : Soit Θ un estimateur non biaise de θ. Sa variance est minimale si pourtout autre estimateur non biaise Θ∗ de θ sur le meme echantillon, nous avons

V [Θ] ≤ V [Θ∗].

Soit X1, · · · , Xn un echantillon de taille n d’une population X de fdp f(x; θ),ou θ est le parametre inconnu. Soit Θ un estimateur non biaise de θ. Lavariance de Θ verifie l’inegalite suivante

V [Θ] ≤(

nE

[

(

∂lnf(X; θ)

∂θ

)2])−1

= Borne Minimale de Cramer-Rao - BMCR-

quand elle existe.L’inegalite reste valable dans le cas discret.On appelle le rapport BMCR/V [Θ] l’efficacite de Θ et si BMCR = V [Θ]Θ est dit efficace.

Theoreme : Inegalite de Cramer-Rao



Criteres de qualite d’une estimationInegalite de Cramer-Rao : Preuve

Nous avons Θ = h(X1, · · · , Xn), E[Θ] = E[h(X1, · · · , Xn)] = θ, puisque Θ est non biaise.Nous avons egalement,

θ =

∫∫∫ +∞

−∞h(x1, · · · , xn)f(x1; θ) · · · f(xn; θ)dx1 · · · dxn

=⇒ 1 =n∑

j=1

∫∫∫ +∞

−∞h(x1, · · · , xn)

∂f(xj ; θ)

∂θ

n∏

i=1i 6=j

f(xi; θ)

dx1 · · · dxn

=

∫∫∫ +∞

−∞h(x1, · · · , xn)

n∑

j=1

1

f(xj ; θ)

∂f(xj ; θ)

∂θ

n∏

i=1

(f(xi; θ)) dx1 · · · dxn

=

∫∫∫ +∞

−∞h(x1, · · · , xn)

n∑

j=1

∂lnf(xj ; θ)

∂θ

n∏

i=1

(f(xi; θ)) dx1 · · · dxn

et comme 1 =∫+∞−∞

n∏i=1

f(xj ; θ)dxj =⇒ 0 =∫+∞−∞

n∑i=1

∂lnf(xi;θ)

∂θ

n∏j=1

f(xj ; θ)dxj . Ainsi, en posant

Y =∑n

i=1∂lnf(xi;θ)

∂θ . Comme les Xi sont independants, alors

σ2Y = E[Y

2] − E[Y ]

2= E[Y

2] = E

[(n∑

i=1

∂lnf(xi; θ)

∂θ

)2]

= nE

[(∂lnf(x; θ)

∂θ

)2]

1 = E[ΘY ] = E[Θ]E[Y ] + ρΘY σΘσY = θ × 0 + ρΘY σΘσY

ρΘY ≤ 1 =⇒ σ2Θ

≥1

σ2Y

=

(

nE

[(∂lnf(x; θ)

∂θ

)2])−1

= BMCRTraitement Statistique des Donnees 18 ,


Criteres de qualite d’une estimationInegalite de Cramer-Rao : Proprietes

•La BMCR peut etre mise sous la forme

BMCR = −(nE

[∂2lnf(x; θ)

∂θ2

])−1

Cette derniere expression est mieux adaptee pour les calculs.

•Si l’on s’interesse a φ = g(θ) =⇒ BMCR[ϕ] =[dg(θ)dθ

]2BMCR[Θ].

• On definit l’efficacite d’un estimateur par le rapport MVCR/V [Θ]

• Si θT = (θ1, · · · , θn) et soit ΘT l’estimateur de θT , alors

cov(Θ) ≥ Λ−1

navec Λij = E

[∂lnf(x; ~θ)

∂θi

∂lnf(x; ~θ)

∂θj

]

ce qui implique

V [Θi] ≥ (Λ−1)iin

=1

nΛii



Criteres de qualite d’une estimationInegalite de Cramer-Rao : Exemples

• Cas de f(x; θ = µ) = N (µ, σ2), θ = µ et σ2 connue :

lnf(X;µ) = ln

[1√2πσ

e−(X−µ)2

2σ2

]

= ln

[1√2πσ

]− (X − µ)2

2σ2

=⇒ ∂f(X;µ)

∂µ=

X − µ

σ2

=⇒ E

[(∂f(X;µ)

∂µ

)2]

=1

σ4E[(X − µ)2] =

1

σ2

=⇒ BMCR =σ2

n



Criteres de qualite d’une estimationInegalite de Cramer-Rao : Exemples

• Cas de f(x; θ = σ2) = N (µ, σ2), θ = σ2 inconnue :

lnf(X; θ) = ln

[1√

2π√θe−

(X−µ)2

2θ

]

= −1

2ln(2π)− 1

2lnθ − (X − µ)2

2θ

=⇒ ∂f(x; θ)

∂θ= − 1

2θ+

(X − µ)2

2θ2

=⇒ ∂2f(x; θ)

∂θ2=

1

2θ2− (X − µ)2

θ3

=⇒ E

[∂2f(x; θ)

∂θ2

]=

1

2θ2− 1

θ2= − 1

2θ2

=⇒ BMRC =2θ2

n

Or V [S2] = 2θ2

n−1 ≥ BMRC et donc n’est pas efficace.

Si n → +∞, V [S2] → BMCR et donc S2 est asymptotiquement efficace.



Criteres de qualite d’une estimationIllustrations graphiques

Figure – . Illustrations graphiques pour les differents criteres de qualite de l’estimation.


Statistique suffisante (exhaustive)


1. Introduction









Statistique suffisante (exhaustive)Definition

Soit (X1, · · · , Xn) un echantillon de taille n d’une population X dont la distributiondepend de θ. Soit T = h(X1, · · · , Xn) une statistique. La question que l’on peut seposer est de savoir si en utilisant T (X1, · · · , Xn) on perd pas de l’informationcontenue dans l’echantillon ⇐= suffisance ou exhaustivite de la statistique.

La statistique T (X1, · · · , Xn) est dite suffisante ou exhaustive si la loi conditionnelle

de X sachant T (X1, · · · , Xn) = t, f(X; θ|T = t) (Pθ(X|T = t)) ne depend pas de θ.

=⇒ Toute l’information de l’echantillon est contenue dans T = h(X1, · · · , Xn) ;

Definition

Soit un echantillon de loi binomiale X1 ∼ B(X;n1, p). Soit T =∑n

i=1 Xi et soitN =

∑ni=1 ni. Nous avons T ∼ B(T ;N, p). Le parametre inconnu est θ = p. Alors

Pθ(X1, · · · , Xn|T = t) =Pθ(X1, · · · , Xn)

Pθ(T = t)=

Πni=1C

xini

θxi (1− θ)ni−xi

CtNθt(1− θ)N−t

=θ∑

xi (1− θ)∑

ni−∑

xi Πni=1C

xini

CtNθt(1− θ)N−t

=Πn

i=1Cxini

CtN

qui ne depend pas de θ et donc T est suffisante.

Exemple



Statistique suffisante (exhaustive)Theoreme de Fisher-Neyman

Le theoreme suivant permet egalement d’attester de la suffisance d’une statistique. Onl’appelle egalement le theoreme de factorisation.

Soit T = h(X1, · · · , Xn) une statistique basee sur un echantillon de taille n. T estune statistique suffisante pour l’estimation de θ si la fdp jointe

∏ni=1 fX(Xi; θ) peut

se factoriser comme suitn∏

i=1

fX(Xi; θ) = g1 (T = h(X1, · · · , Xn); θ) g2(X1, · · · , Xn)

Si X est discrete, nous avonsn∏

i=1

PX(Xi; θ) = P1(T = h(X1, · · · , Xn); θ)P2(X1, · · · , Xn)

Theoreme : Fisher-Neyman

X1 ∼ N (µ, σ), ~X = (X1, ·, XN ) =⇒ f(~X;µ;σ) = Ae−∑N

i=1(xi−µ)2

2σ2 . Nous avonsN∑

i=1

(xi − µ)2

=N∑

i=1

(xi − X + X − µ

)2=

N∑

i=1

{(xi − X

)2− 2

(xi − X

) (X − µ

)+(X − µ

=N∑

i=1

X2i + N

(X − µ

)2=⇒ f(~X;µ;σ) = Ae

−∑

i=1 x2i

2σ2 e− (X−µ)2

2σ2/N

Exemple



Statistique suffisanteAutre exemple

Supposons que X1, · · · , Xn un echantillon d’une population X ∼ Poisson deparametre λ. Nous avons

n∏

j=1

pX(xj ; θ) =

n∏

j=1

θxj e−θ

xj !

=θ∑

xje−nθ

∏

xj !

qui peut etre factorisee comme suit

g1(T ; θ) = θ∑

xj e−nθet g2(X1, · · · , Xn) =

1∏

xj !

On en deduit que la statistique T = 1n

n∑

j=1

Xj est suffisante pour l’estimation de θ

avec

g1(T ; θ) = θnT e−nθet g2(X1, · · · , Xn) =

1∏

xj !.


Methodes d’estimation : Ponctuelle et par intervalle


1. Introduction










Les criteres de qualite d’estimation etant definis, Consistence, Biais etEfficacite, nous allons presenter quelques techniques d’estimation.

Deux approches seront considerees dans la suite : Estimation ponctuelle etEstimation par intervalle :

Ponctuelle : nous decrirons des methodes qui permettent de determinerune valeur θ a partir d’un echantillon d’observations ainsi quesa variance ;

Intervalle : dans certaines situations, il est pertinent d’obtenirl’information sur θ sous forme d’intervalle qui permetegalement de donner le niveau de confiance sur les valeurs deθ.


Methodes d’estimation : Ponctuelle et par intervalle Estimation Ponctuelle

Methodes d’estimation PonctuelleMethode des Moments

C’est la methode d’estimation la plus ancienne (Pearson, 1894). Comme en general, elle n’estpas optimale en terme de biais et d’efficacite, d’autres methodes lui ont ete preferees,comme la methode du maximum de vraisemblance que l’on va traiter ci-dessous.

Considerons une densite de probabilite f(x; θ1, · · · , θr) ou θj avec j = 1, · · · , r sont a estimera partir d’un echantillon de taille n : X1, · · · , Xn. Le principe de cette methode est simple etconsiste a estimer les r parametres inconnus a partir de r equations deduites a partir de rmoments de la v.a. X :

1ere etape : Definir r moments theoriques de X :

µ′j(θ) =

∫ +∞

−∞xjf(x; θ1, · · · , θr)dx, j = 1, · · · , r

autant de moments que de parametres a estimer et donc autant d’equationsque d’inconnues.

2eme etape : Nous estimons les moments a partir de l’echantillon des observations

M(j) =1

n

n∑

i=1

Xji

3eme etape : Nous resolvons le systeme d’equations obtenu : r inconnues θj et

M(j) =∫+∞−∞ xjf(x; Θ1, · · · , Θr)dx avec j = 1, · · · , r dont les solutions

peuvent formellement se mettre sous la forme Θj = Θj

(

M(1), · · · ,M(r))

.



Methodes d’estimation PonctuelleMethode des Moments : Exemples

Considerons un echantillon d’observations X1, · · · , Xn. Nous allons considerer quela population X suit les lois traitees ci-dessous.

Exemple 1 : Loi normale X ∼ N (µ, σ2) tels que θ1 = µ et θ2 = σ2. Alors

µ′1 = µ = θ1

µ′2 = σ2 + µ2 = θ2 + θ21

}

=⇒{

Θ1 = M1 = X

Θ2 = M2 −M21 = X2 − (X)2

Θ1 est consistent, sans biais et efficace, comme c’est deja etabli.

Exemple 2 : Quant a Θ2 = n−1n

S2, il est consistent, mais biaise et non efficace,comme c’est demontre auparavant.

Loi binomiale X ∼ B(x;N, p) et θ = p . Alors

µ′1 = Np = Nθ =⇒ NΘ = M1 =⇒ Θ =

1

NX.

Θ est consistant, sans biais et efficace.

Exemple 3 : Loi exponentielle X ∼ f(x;λ) = λ−1e−x/λ et θ = λ. Nous avons

µ′1 = λ =⇒ Θ = X.



Methodes d’estimation PonctuelleMaximum de vraisemblance

Cette methode a ete introduite pour la premiere fois en 1922 par Fisher.

Soit f(x; θ) la pdf d’une population X, ou θ est un parametre a estimer a partir del’echantillon de valeurs x1, · · · , xn.

La fonction de vraisemblance L(x1, · · · , xn; θ) de l’echantillon est definie par

L(x1, · · · , xn; θ) = f(x1; θ)× · · · × f(xn; θ)

= p(x1; θ)× · · · × p(xn; θ) Si X est discret

L’estimation par la methode du maximum de vraisemblance consiste a chercher θmaximisant la fonction de vraisemblance :

dL(x1, · · · , xn; θ)

dθ

∣

∣

∣

∣

∣

θ=θ

= 0 oudlnL(x1, · · · , xn; θ)

θ

∣

∣

∣

∣

∣

θ=θ

= 0

Si ~θ = (θ1, · · · , θr), alors∂lnL(x1, · · · , xn; θ1, · · · , θr)

∂θj

∣

∣

∣

∣

∣

~θ=~θ

= 0 j = 1, · · · , r.

Definition



Methodes d’estimation PonctuelleMaximum de vraisemblance - EMV : Proprietes

• EMV est consistent et asymptotiquement efficace :

E[Θ] →n→+∞

θ

V [Θ] →n→+∞

1

n

(E

[(∂lnf(X; θ)

∂θ

)2])−1

= − 1

n

(E

[∂2lnf(X; θ)

∂θ2

])−1

Les proprietes interessantes de EMV sont de caractere asymptotique(n → +∞).

• Proriete d’invariance : Si Θ est un EMV de θ, l’EMV d’une fonction,differentiable, de θ, g(θ), est g(Θ) =⇒ si Σ est l’EMS de σ alors (Σ)2 = Σ2.



Methodes d’estimation PonctuelleMaximum de vraisemblance - EMV : Parametres de la loi normale

• Soit X1, · · · , Xn un echantillon d’une population X ∼ N (µ, σ2), ou Θ1 et Θ2 les EMVrespectivement de µ et de σ2.

Le logarithme de la fonction de vraisemblance est

lnL(X1, · · · , Xn;µ, σ2); = − 1

2σ2

n∑

j=1

(xj − µ)2 − 1

2nlnσ2 − 1

2nln2π

=⇒ ∂lnL

∂θ1=

1

θ2

n∑

j=1

(xj − θ1) = 0

∂lnL

∂θ2=

1

2θ22

n∑

j=1

(xj − θ1)2 − n

2θ2= 0

=⇒ θ1 =1

n

n∑

j=1

xj =⇒ Θ1 = X

θ2 =1

n

n∑

j=1

(

xj − θ1)2

=⇒ Θ2 =1

n

n∑

j=1

(

Xj − X)2

=n− 1

nS2



Methodes d’estimation PonctuelleMaximum de vraisemblance - EMV : parametre de la loi uniforme

Considerons l’EMV du parametre θ de la fdp uniforme

f(x; θ) =

{

1θ, pour 0 ≤ x ≤ θ;

0 ailleurs

La fonction de vraisemblance est donnee par

L(x1, · · · , xn) =

(

1

θ

)n

, 0 ≤ xi ≤ θ.

Notons que tous les xi sont dans [0, θ] =⇒∀i, xi ≤ θ =⇒ θ ≥ max(x1, · · · , xn). La fi-gure ci-contre represente L(θ) et l’on noteque cette derniere est definie pour θ ≥max(x1, · · · , xn).

Comme θ est la valeur qui maximise L(θ)

alors θ = max(x1, · · · , xn) et donc Θ =max (X1, · · · , Xn). Figure – . Fonction de vraisemblance L(θ).



Methodes d’estimation PonctuelleMaximum de vraisemblance - EMV : Comportement asymptotique

Revenons sur le comportement asymptotique de l’EMV.

Soit (X1, · · · , Xn) un echantillon dont la pdf est f(x; θ) ou θ ∈ Θ ⊆ R reguliere

(derivabilite) garantissant l’existence de θMVn pour tout n. On considere la suite

{θMVn } quand n → +∞. Alors cette suite est telle que :

√n(

θMVn − θ

)

→ N (0, BMCR).

Proposition

Nous admettrons ce resultat qui est une application directe de la loi des grands nombres etdu TCL.

• θMVn est asymptotiquement sans biais : Eθ[θ

MVn ] →n→∞ θ. ;

• θMVn est asymptotiquement efficace ;

• Les proprietes precedentes restent valables pour estimer une fonction h(θ) en

substituant BMCR par (h′(θ))2 BMCR.

Proprietes



Estimation PonctuelleMethode des moindres carres

Cette methode est introduite par Gauss en 1795Soient Y = (Y1, · · · , Yn)

T un echantillon de donnees de taille n avecE[Y] = M(θ) = (m1(θ), · · · ,mn(θ))

T et θ = (θ1, · · · , θr)T inconnus. Soit la formequadratique g (Y;θ) = χ2 (θ) = [Y−M(θ)]T W [Y−M(θ)] ou W = V −1, V etant lamatrice de covariance de Y. W est appelee la matrice des poids.

L’estimation par la methode des moindres carres de θ consiste a determinerles valeurs de θ qui minimisent g(Y,θ) comme suit

∂g(Y,θ)

∂θi

∣

∣

∣

∣

∣

θ=θ

=∂χ2 (θ)

∂θi

∣

∣

∣

∣

∣

θ=θ

= −2∂MT

∂θiW [Y−M(θ)]

∣

∣

∣

∣

∣

θ=θ

= 0 i = 1, · · · , r.

Definition

=⇒χ2min = χ2(θ = θ) ;

=⇒En general, χ2(θ) ∼ χ2(n− r) ;

Proprietes



Estimation PonctuelleMethode des moindres carres : Applications

L’une des applications la plus frequente est la determination des parametres θ d’unmodele theorique reliant y a x par y = f(x;θ).

On effectue n mesures independantes de yi en n points xi avec une erreur σi,i = 1, · · · , n. On cherche les parametres θ d’un modele decrivant la relation entreY et X par Yi = f(Xi;θ). En appliquant la methode des moindres carres, avecM(θ) = f(x; θ), cov(Yi, Yj) = 0, V [Yi] = σ2

i , nous avons

g(Y,θ) =

n∑

i=1

(

Yi − f(Xi;θ)

σ2i

)2

=⇒ ∂g

∂θj

∣

∣

∣

∣

∣

θ=θ

= −2

n∑

i=1

1

σ2i

∂f(Xj ;θ)

∂θj(yi − f(xi;θ))

∣

∣

∣

∣

∣

θ=θ

= 0, j = 1, · · · , r.

Si les mesures sont correlees, cov[Yi, Yj ] 6= 0 alors, en notantf(θ) = (f(X1;θ), · · · , f(Xn;θ))

T ,

g(Y,θ) = (Y− f(θ))T V −1 (Y− f(θ)) , Vij = cov(Yi, Yj)

=⇒ ∂g

∂θj

∣

∣

∣

∣

∣

θ=θ

= −2∂f(Xj ;θ)

T

∂θjV −1 (Y− f(θ))

∣

∣

∣

∣

∣

θ=θ

= 0, j = 1, · · · , r.



Estimation PonctuelleMethode des moindres carres : Cas lineaire

f(x;θ) =r∑

j=1

aj(x)θj =⇒ f(θ) =

(

r∑

j=1

aj(x1)θj , · · · ,r∑

j=1

aj(xn)θj

)T

On pose Aij = aj(xi) alors f(θ) = Aθ et l’equation precedente devient sous formematricielle

AV−1(

Y− Aθ)

= 0

=⇒ AV−1Aθ = AV−1Y

=⇒ θ =(

AV−1A)−1

AV−1Y



Estimation Par intervalleDefinition et Proprietes

Soit X1, · · · , Xn un echantillon de donnees de taille n issues d’une popula-tion X de pdf f(x; θ), θ etant le parametre a estimer. Soient L1(X1, · · · , Xn)et L2(X1, · · · , Xn) deux statistiques telles que L1 < L2 avec une probabiliteegale a 1.[L1, L2] est dit une estimation de θ par intervalle avec un niveau de confiancede 100× (1− α)% si

P (L1 < θ < L2) = 1− α

α etant appele le risque d’erreur.

Definition

• Les bornes de l’intervalle de confiance sont fonctions de l’echantillon et doncl’intervalle varie en largeur et en position en fonction de l’echantillon.

• Pour un echantillon de donnees, les limites de l’intervalle de confiance ne sont pasuniques =⇒ la meilleure estimation par intervalle est celle de l’intervalle le plus petit.

Proprietes



Estimation Par intervalleCas de N (µ, σ2), θ = µ et σ2 connue

On utilise la methode d’estimation par inter-valle pour θ = µ avec un niveau de confiace100(1−α)%. On considere le cas symetrique :

l’intervalle est symetrique par rapport X.

On cherche uα/2 telle que P (U ≥ uα/2) >α/2, voir figure ci-contre.

P (−uα/2 < U < uα/2) = 1− α

et l’intervalle d’estimation de θ = µ a 100(1-α)% de θ = µ est

P (X − uα/2√n

σ < µ < X +uα/2√

nσ) = 1− α

=⇒ L’erreur sur l’estimation de µ estinferieure a

uα/2√nσ

Figure – . Intervalle de confiancesymetrique a 100(1− α)% pour u.



Estimation Par intervalleCas de N (µ, σ2), θ = µ et σ2 inconnue

Comme σ2 est inconnue, nous ne pouvons plusutiliser la statistique

U =(X − µ)

σ√n

pour l’estimation par intervalle de µ. On estimealors σ2 par S2 et considerer la statistique

T =X − µ

S√n

=

X−µσ√n

√

Vn−1

, avec V =(n− 1)S2

σ2.

Nous avons demontre que (n−1)S2

σ2 ∼ χ2(n− 1)

et comme X−µσ/

√n∼ N (µ, σ2/n)

alors T ∼ t− distribution(n− 1). Ce qui donne

P (−tn−1,α/2 < T < tn−1,α/2) = 1− α

=⇒ P (X − tn−1,α/2S√n

< µ < X +tn−1,α/2S√

n) = 1− α.

Figure – . Intervalle de confiancesymetrique a 100(1− α)% pourt− distrib.


Documents

TRAITEMENT STATISTIQUE DES DONNÉES · TRAITEMENT STATISTIQUE DES DONNÉES S2-MasterPHEAPC Chapitre 4 : Estimation de paramètre Pr. M. EL KACIMI(1) (1)Université Cadi Ayyad Faculté