Statistique(2)

Introduction Inférence statistique - échantillonnage Estimation : Estimation ponctuelle Estimation par intervalle de confiance Tests d’hypothèses

Statistique Inférentielle

S. Achchab

École Nationale Supérieure d’Informatique et d’Analyse des Systèmes (ENSIAS)

2009-2010

S. Achchab Statistique Inférentielle


Plan1 Introduction

StatistiqueLa démarche statistiqueDéfinitions et notations

2 Inférence statistique - échantillonnagestatistiquepropriétés élémentairesCas des grands échantillonsCas des petits échantillons

3 Estimation : Estimation ponctuelleIntroductionQualité d’un estimateurEstimation ponctuelle des paramètres usuelsMéthodes du maximum de vraisemblance

4 Estimation par intervalle de confiancePrincipe de le méthodeEstimation de la moyenne d’une variable de LaplaceGaussEstimation de l’écart-type d’une loi de Laplace-GaussIntervalle de confiance pour le paramètre d’une loibinomiale quand n est grandL’estimateur Jack-Knife

5 Tests d’hypothèses


Introduction Inférence statistique - échantillonnage Estimation : Estimation ponctuelle Estimation par intervalle de confiance Tests d’hypothèsesStatistique La démarche statistique Définitions et notations

Plan1 Introduction








Plan1 Introduction








Statistiques ?

Définition

Statistiques : Ensemble de données.Statistique : Science qui consiste à collecter, analyser etinterpréter des données.Statistique : Fonction de variables aléatoires.



Statistiques ?

DéfinitionStatistiques : Ensemble de données.

Statistique : Science qui consiste à collecter, analyser etinterpréter des données.Statistique : Fonction de variables aléatoires.



Statistiques ?

DéfinitionStatistiques : Ensemble de données.Statistique : Science qui consiste à collecter, analyser etinterpréter des données.

Statistique : Fonction de variables aléatoires.



Statistiques ?

DéfinitionStatistiques : Ensemble de données.Statistique : Science qui consiste à collecter, analyser etinterpréter des données.Statistique : Fonction de variables aléatoires.



Plan1 Introduction








Démarche statistique

Démarche statistiqueComporte deux grands aspects :

Aspect descriptif ou exploratoireAspect inférentiel ou décisionnel





Aspect descriptif ou exploratoire

Aspect inférentiel ou décisionnel





Aspect descriptif ou exploratoireAspect inférentiel ou décisionnel



Plan1 Introduction








Définitions et notations

DéfinitionUnité statistique (ou individus) :On appelle unité statistique l’élément de base de l’ensembleque l’on veut étudier.




Exemple

Si l’on s’intéresse à l’ensemble des petites et moyennesentreprises (PME). Une PME est considérée comme unitéstatistique.Si l’on s’intéresse au revenu mensuel des ménagesmarocains, une famille est considérée comme unitéstatistique.




ExempleSi l’on s’intéresse à l’ensemble des petites et moyennesentreprises (PME). Une PME est considérée comme unitéstatistique.

Si l’on s’intéresse au revenu mensuel des ménagesmarocains, une famille est considérée comme unitéstatistique.




ExempleSi l’on s’intéresse à l’ensemble des petites et moyennesentreprises (PME). Une PME est considérée comme unitéstatistique.Si l’on s’intéresse au revenu mensuel des ménagesmarocains, une famille est considérée comme unitéstatistique.




DéfinitionPopulation :On appelle population l’ensemble des unités statistiques.




Exemple

Si l’on s’intéresse aux salariés d’une entreprise, alorsl’ensemble des salariés forme la population.Si l’on s’intéresse au parc automobile marocain, ce parcest considéré comme population




ExempleSi l’on s’intéresse aux salariés d’une entreprise, alorsl’ensemble des salariés forme la population.

Si l’on s’intéresse au parc automobile marocain, ce parcest considéré comme population




ExempleSi l’on s’intéresse aux salariés d’une entreprise, alorsl’ensemble des salariés forme la population.Si l’on s’intéresse au parc automobile marocain, ce parcest considéré comme population




DéfinitionOn appelle modalité, l’aspect du caractère retenu dans le cadrede l’analyse.

Exemple

Pour une personne : la couleur des cheveux, la taille ...Pour un ménage : le revenue mensuel, le nombre d’enfants...





ExemplePour une personne : la couleur des cheveux, la taille ...

Pour un ménage : le revenue mensuel, le nombre d’enfants...





ExemplePour une personne : la couleur des cheveux, la taille ...Pour un ménage : le revenue mensuel, le nombre d’enfants...




Définition

Caractère qualitatif :C’est un caractère qui ne peut pas être mesuré, ni êtrerepéré.Caractère quantitatif :Le caractère quantitatif peut être repérable ou mesurable,c’est-à-dire susceptible d’être soumise à une mesuredonnant une valeur numérique.




DéfinitionCaractère qualitatif :C’est un caractère qui ne peut pas être mesuré, ni êtrerepéré.

Caractère quantitatif :Le caractère quantitatif peut être repérable ou mesurable,c’est-à-dire susceptible d’être soumise à une mesuredonnant une valeur numérique.




DéfinitionCaractère qualitatif :C’est un caractère qui ne peut pas être mesuré, ni êtrerepéré.Caractère quantitatif :Le caractère quantitatif peut être repérable ou mesurable,c’est-à-dire susceptible d’être soumise à une mesuredonnant une valeur numérique.




Exemples

Caractère qualitatif : situation familiale : célibataire,marié, veuf...Caractère quantitatif : Le revenu des ménages estmesurable en Dirhams, Taille d’un individu, poids ...




ExemplesCaractère qualitatif : situation familiale : célibataire,marié, veuf...

Caractère quantitatif : Le revenu des ménages estmesurable en Dirhams, Taille d’un individu, poids ...




ExemplesCaractère qualitatif : situation familiale : célibataire,marié, veuf...Caractère quantitatif : Le revenu des ménages estmesurable en Dirhams, Taille d’un individu, poids ...




DéfinitionVariable statistique : C’est l’expression numérique ou littéraireretenue dans le cadre de l’analyse. On la note Xi .

Exemples

Taille d’une entreprise : la variable exprimera lesdifférentes tailles d’une entreprise : petite, moyenne,grandeNombre d’enfants à charge des familles : la variable seranumérique : 0,1,2, . . . ,n enfants à charge.





ExemplesTaille d’une entreprise : la variable exprimera lesdifférentes tailles d’une entreprise : petite, moyenne,grande

Nombre d’enfants à charge des familles : la variable seranumérique : 0,1,2, . . . ,n enfants à charge.





ExemplesTaille d’une entreprise : la variable exprimera lesdifférentes tailles d’une entreprise : petite, moyenne,grandeNombre d’enfants à charge des familles : la variable seranumérique : 0,1,2, . . . ,n enfants à charge.




Définition

Effectif : C’est le nombre d’individus pouvant êtrerattachés à une variable. On le note ni .Fréquence : Elle peut être de deux types : soit absolue(c’est l’effectif lui-même ni ), soit relative (rapport d’uneffectif à l’effectif total). On note la fréquence relative :

f =ni

Noù N =

p∑i=1

ni

ExemplesDans une classe de 20 étudiants : 7 sont redoublants et 13 nele sont pas.

n1 = 7 et n2 = 13.




DéfinitionEffectif : C’est le nombre d’individus pouvant êtrerattachés à une variable. On le note ni .

Fréquence : Elle peut être de deux types : soit absolue(c’est l’effectif lui-même ni ), soit relative (rapport d’uneffectif à l’effectif total). On note la fréquence relative :

f =ni

Noù N =

p∑i=1

ni


n1 = 7 et n2 = 13.




DéfinitionEffectif : C’est le nombre d’individus pouvant êtrerattachés à une variable. On le note ni .Fréquence : Elle peut être de deux types : soit absolue(c’est l’effectif lui-même ni ), soit relative (rapport d’uneffectif à l’effectif total). On note la fréquence relative :

f =ni

Noù N =

p∑i=1

ni


n1 = 7 et n2 = 13.



Nature d’une variable : Variable quantitative

Définition

Variable discrète :Lorsque la variable ne peut prendre qu’une valeurnumérique, on parle de variable discrète.Variable continue :On parle de variable continue lorsque celle-ci peut prendreplusieurs valeurs dans un intervalle donné. L’intervalle desvaleurs possibles est divisé en n petits intervalles.

[α, β] = [A0,A1[∪[A1,A2[∪ . . . ∪ [An−1,An],

où A0 = α < A1 < . . . < An−1 < An = β




DéfinitionVariable discrète :Lorsque la variable ne peut prendre qu’une valeurnumérique, on parle de variable discrète.

Variable continue :On parle de variable continue lorsque celle-ci peut prendreplusieurs valeurs dans un intervalle donné. L’intervalle desvaleurs possibles est divisé en n petits intervalles.

[α, β] = [A0,A1[∪[A1,A2[∪ . . . ∪ [An−1,An],

où A0 = α < A1 < . . . < An−1 < An = β




DéfinitionVariable discrète :Lorsque la variable ne peut prendre qu’une valeurnumérique, on parle de variable discrète.Variable continue :On parle de variable continue lorsque celle-ci peut prendreplusieurs valeurs dans un intervalle donné. L’intervalle desvaleurs possibles est divisé en n petits intervalles.

[α, β] = [A0,A1[∪[A1,A2[∪ . . . ∪ [An−1,An],

où A0 = α < A1 < . . . < An−1 < An = β



Nature d’une variable : variable quntitative

Exemples

Variable discrète : Nombre d’automobiles possédées parles ménages.Variable continue : Durée d’une conversationtéléphonique, la variable pourrait être la suivante pour uneffectif de 34 personnes :

Temps Ecoulés (en mn) Xi Effectifs ni

[0, 5[ 10[5, 15[ 9

[15, 30[ 15Total 34




ExemplesVariable discrète : Nombre d’automobiles possédées parles ménages.

Variable continue : Durée d’une conversationtéléphonique, la variable pourrait être la suivante pour uneffectif de 34 personnes :


[0, 5[ 10[5, 15[ 9

[15, 30[ 15Total 34




ExemplesVariable discrète : Nombre d’automobiles possédées parles ménages.Variable continue : Durée d’une conversationtéléphonique, la variable pourrait être la suivante pour uneffectif de 34 personnes :


[0, 5[ 10[5, 15[ 9

[15, 30[ 15Total 34



Nature d’une variable : Variable qualitative

DéfinitionUne variable qualitative peut être nominale ou ordinale.Elle est nominale lorsque l’ensemble des modalités ne possèdepas de structure particulière.Une variable est ordinale lorsque l’ensemble des modalités estordonné.




Exemples

Variable nominale : Dans un sondage, on s’intéresse àl’avis des consommateurs envers un produit : la variable Xprend les modalités suivantes : " satisfait " ; " non satisfaits" et " ne sait pas ".Variable ordinale :Si on prend la variable X " État desvoitures ", X prend les modalités : " Neuf ", " Moyen " et "Médiocre ". X est une variable ordinale.




ExemplesVariable nominale : Dans un sondage, on s’intéresse àl’avis des consommateurs envers un produit : la variable Xprend les modalités suivantes : " satisfait " ; " non satisfaits" et " ne sait pas ".

Variable ordinale :Si on prend la variable X " État desvoitures ", X prend les modalités : " Neuf ", " Moyen " et "Médiocre ". X est une variable ordinale.




ExemplesVariable nominale : Dans un sondage, on s’intéresse àl’avis des consommateurs envers un produit : la variable Xprend les modalités suivantes : " satisfait " ; " non satisfaits" et " ne sait pas ".Variable ordinale :Si on prend la variable X " État desvoitures ", X prend les modalités : " Neuf ", " Moyen " et "Médiocre ". X est une variable ordinale.


Introduction Inférence statistique - échantillonnage Estimation : Estimation ponctuelle Estimation par intervalle de confiance Tests d’hypothèsesstatistique propriétés élémentaires Cas des grands échantillons Cas des petits échantillons

Plan1 Introduction








Plan1 Introduction








Statistique

Soit Xi la variable aléatoire égale à la valeur du caractère Xpour le ieme individu, on peut définir une deuxième fois unn-échantillon par toute suite (X1,X2, . . . ,Xn) de variablesaléatoires indépendantes et identiquement distribuées. Lathéorie de l’échantillonnage se propose d’étudier les propriétésdu n-uple (X1,X2, . . . ,Xn) et les caractéristiques le résumant.



Statistique

DéfinitionUne statistique T est une variable aléatoire fonction de(X1,X2, . . . ,Xn)

T = f (X1,X2, . . . ,Xn)



Statistique

DéfinitionLa moyenne empiriqueElle est notée X et elle est définie par :

X =1n

n∑i=1

Xi .

C’est la moyenne arithmétique des variables aléatoires del’échantillon.



Statistique

DéfinitionLa fréquence empiriqueSoit un caractère qualitatif à deux modalités A et B que l’onpeut coder par 0 et 1. On note p la proportion dans lapopulation des individus qui possèdent la modalité A. Lenombre aléatoire Yn d’individus de l’échantillon qui ont lamodalité A, s’écrit :

Yn =n∑

i=1

Xi ,

où les v.a Xi sont des v.a de Bernoulli de paramètre p. On pose

Fn =Yn

nappelée fréquence empirique.



Statistique

DéfinitionLa variance empiriqueLa variance empirique du caractère X dans l’échantillon estdéfinie par :

S2 =1n

n∑i=1

(Xi − X )2 =1n

n∑i=1

X 2i − X

2

Par ailleurs, une autre statistique utile en estimation est lavariance empirique corrigée S∗2 définie par :

S∗2 =n

n − 1S2 =

1n

n∑i=1

(Xi − X )2



Plan1 Introduction








On note mr = E [X r ] le moment d’ordre r de la variablealéatoire X , r = E [(X −m)r ] le moment centré correspondantet σ2 = µ2 la variance de X. Un premier résultat donnel’espérance et la variance de la moyenne empirique X .

PropositionSoit (X1,X2, . . . ,Xn) un n-échantillon de la v.a. X . Si E [X2]existe, alors pour tout entier n, n > 1, la moyenne empiriqueX vérifie :

E(X ) = m

Var(X ) =σ2

nDans le cas particulier d’une fréquence empirique, on obtient :

E(Fn) = p

Var(Fn) =p(1− p)

n;

où p est la proportion des individus dans la population quipossèdent la modalité A d’un caractère qualitatif à deuxmodalités A et B.



Proposition

Soit X une variable aléatoire telle que m4 = E [X 4] existe. Alors,pour tout entier n > 1,

E(S2) =n − 1

nσ2

E(S∗2) = σ2.

En outre, Var [S2] et Var [S∗2] sont majorées par une expression

de la formecn

, où c est une constante dépendant de m4.



Plan1 Introduction








Cas des grands échantillons

DéfinitionLa suite infinie (Yn)n de variables aléatoires converge enprobabilité vers la v.a. Y si, pour tout ε > 0,

YnP−→ Y ⇔ lim

np [|Yn − Y | < ε] = 1




Théorème : (Lois des grands nombres)Soit X une v.a. de moyenne m finie, alors pour toute suiteinfinie (Xn)n de v.a. deux à deux indépendantes et de même loique X , la suite des v.a.

X n =1n

n∑i=1

Xi

Converge en probabilité vers m lorsque n tend vers l’infini.




ApplicationGrâce à la loi des grands nombres, on peut montrer que :

S2n

P−→ σ2,

de mêmeS∗2n

P−→ σ2,

Quand n tend vers l’infini et à condition que E(X 2) existe.




Théorème central limite

Soit X une v.a. de moment E [X 2] fini, alors pour toute suiteinfinie (Xn)n de v.a. indépendantes et de même loi que X , lasuite des v.a.

Un =X n −mσ/√

n,

tend en loi vers la loi normale centrée réduite N(0,1) lorsque ntend vers l’infini.




Application : Cas d’une fréquence empiriqueOn prélève indépendamment et avec remise n individus d’unepopulation séparée en deux sous-populations et de proportionsp et (1− p) (pièces défectueuses ou correctes dans uneproduction industrielle par exemple). Soit Fn la fréquenceempirique. On a

E [Fn] = p

Var [Fn] =p(1− p)

n.

Et si n est grand,

Fn ≈ N

(p,

√p(1− p)

n

).




ExemplePour un échantillon de 400 pièces issues d’une fabrication où10% sont défectueuses. On peut s’attendre à trouver dans 95%des cas un pourcentage de pièces défectueuses dans

l’échantillon comprise entre : 10%± 1.96

√0.1× 0.9

400soit

9.7% < F < 10.3%




Corollaire

Soit X une v.a. de moment E [X 2] fini, alors pour toute suiteinfinie (Xn)n de v.a indépendantes et de même loi que X , la

moyenne empirique X n tend vers la loi normale N(

m,σ√n

)




ExempleSoit un lot de 500 chocolats. Le poids d’un chocolat est une v.a.telle que m = 5g et σ = 0.5g. Quelle est la probabilité qu’uneboite de 50 chocolats issus de ce lot ait un poids total supérieurà 260g ?




PropositionSi X est une v.a. d’espérance m et d’écart-type σ, si g est unefonction numérique dérivable au voisinage de m et vérifiantg′(m) 6= 0, si enfin X n désigne la moyenne empirique d’unn-échantillon de X , alors la suite des v.a.

g′(m)g(X n)− g(m)

σ/√

n,

tend en loi vers la loi normale N(0,1) lorsque n tend vers l’infini.



Plan1 Introduction








Cas des petits échantillons

DéfinitionSoit X une v .a. normale d’espérance m et d’écart-type σ . Ladensité associées est définie pour tout réel x par :

fX (x) =1

σ√

2πexp

[−1

2

(x −mσ

)2].

De plus, on appelle échantillon normal tout échantillon de lav.a. X . Le résultat suivant sur la stabilité de la loi normaleaffirme que la somme de v.a. normales indépendantes estencore une v.a. normale.



Cas des petits échantillons

PropositionSi X1,X2, . . . ,Xn sont des v.a. indépendantes de loisrespectives N(mi , σ

2i ), alors la variable aléatoire

Y = X1 + . . .+ Xn suit la loi normale d’espérance mathématique

m = m1 + . . .+ mn et d’écart-type σ =√σ2

1 + . . .+ σ2n.


Introduction Inférence statistique - échantillonnage Estimation : Estimation ponctuelle Estimation par intervalle de confiance Tests d’hypothèsesIntroduction Qualité d’un estimateur Estimation ponctuelle des paramètres usuels Méthodes du maximum de vraisemblance

Plan1 Introduction








Plan1 Introduction








Estimation

DéfinitionL’estimation consiste à donner des valeurs approchées auxparamètres d’une population (m, σ,etc.) à l’aide d’unéchantillon de n observations issues de cette population. Onsuppose vérifiée l’hypothèse d’échantillonnage aléatoiresimple.



Estimation

ExempleD’après la loi des grands nombres :

X nP−→ m,

de mêmeS2

nP−→ σ2,

etFn

P−→ p,

Les variables aléatoires X n, S2n et Fn sont appelées alors

estimateurs de m, σ2 et p respectivement.



Plan1 Introduction








Estimation

Qualité d’un estimateurSoit θ le paramètre à estimer et Tn un estimateur, c’est-à-direune fonction des Xi à valeurs dans un domaine acceptable pourθ

ConvergenceBiaisPrécision



Estimation


Convergence

BiaisPrécision



Estimation


ConvergenceBiais

Précision



Estimation


ConvergenceBiaisPrécision



Estimation

ConvergenceIl est souhaitable que si n −→∞ , Tn −→ θ



Estimation

BiaisL’erreur d’estimation Tn − θ qui est une variable aléatoire sedécompose de façon élémentaire en :

Tn − θ = Tn − E(Tn)︸︷︷︸(1)

+ E(Tn)− θ︸︷︷︸(2)

(1) représente les fluctuations aléatoires de Tn autour desa valeur moyenne(2) biais



Estimation


Tn − θ = Tn − E(Tn)︸︷︷︸(1)

+ E(Tn)− θ︸︷︷︸(2)

(1) représente les fluctuations aléatoires de Tn autour desa valeur moyenne

(2) biais



Estimation


Tn − θ = Tn − E(Tn)︸︷︷︸(1)

+ E(Tn)− θ︸︷︷︸(2)

(1) représente les fluctuations aléatoires de Tn autour desa valeur moyenne(2) biais



Estimation

BiaisIl est souhaitable d’utiliser des estimateurs sans biais tels que

E(Tn) = θ



Estimation

Exemple

X n est un estimateur sans biais de mS2

n est un estimateur avec biais de σ2

S∗2n =n

n − 1S2

n est un estimateur sans biais de σ2



Estimation

Exemple

X n est un estimateur sans biais de m

S2n est un estimateur avec biais de σ2

S∗2n =n

n − 1S2




Estimation

Exemple



S∗2n =n

n − 1S2




Estimation

Exemple



S∗2n =n

n − 1S2




Estimation

PrécisionOn mesure généralement la précision d’un estimateur Tn parl’erreur quadratique moyenne :

E [(Tn − θ)2].

On peut démontrer que :

E [(Tn − θ)2] = V (Tn) + [E(Tn)− θ]2.

De deux estimateurs sans biais, le plus précis est donc celui devariance minimale.



Estimation

Exemple

Montrer que si m est connu, l’estimateur Tn =1n

n∑i=1

(Xi −m)2

est meilleur que S∗2.



Estimation

DéfinitionL’estimateur Tn est dit asymptotiquement sans biais si :

limn→+∞

E(Tn) = 0.



Estimation

Exemple

S2 =1n

n∑i=1

(Xi − X )2 est un estimateur asymptotiquement sans

biais de σ2.



Estimation

DéfinitionUn estimateur Tn du paramètre θ est dit convergent enmoyenne quadratique (m.q) s’il vérifie :

limn→+∞

E [(Tn − θ)2] = 0.

Rappelons que la convergence en moyenne quadratiqueentraîne la convergence en probabilité, mais que la réciproqueest fausse en général. En pratique, pour montrer le caractèreconvergent d’un estimateur, on essaie le plus souvent demontrer la convergence en moyenne quadratique.



Estimation

PropositionUn estimateur Tn du paramètre θ est convergent en moyennequadratique si et seulement si, il est asymptotiquement sansbiais et si sa variance tend vers 0 lorsque n tend vers l’infini.

PreuveIl suffit de voir :

E [(Tn − θ)2] = V (Tn) + [E(Tn)− θ]2.



Estimation

ExemplePour estimer la moyenne théorique θ = m d’une variablealéatoire X , on peut prendre Tn = X n. Cet estimateur est sansbiais, si de plus sa variance Var(X ) est finie, la relation

Var(X n) =Var(X )

nmontre que Var(X n) tend vers 0 lorsque n

tend vers l’infini. La proposition précédente permet alorsd’affirmer que X n est un estimateur convergent en moyennequadratique de m = E(X ).



Estimation

Le critère de convergence en moyenne quadratique donnédans la proposition précédente suppose le calcul del’espérance mathématique et la variance de l’estimateur Tn.Comme, en pratique ce calcul n’est pas toujours aisé, onpropose une méthode permettant dans certains cas, dedémontrer la convergence en probabilité de T vers .



Estimation

PropositionSoit (Yn)n≥1 une suite infinie de v.a. qui converge en probabilitévers la v.a. Y et si g est une fonction d’une variable réelle,continue sur l’ensemble des valeurs possibles de Y et des Yn,alors la suite des v.a. g(Yn)n≥1 converge en probabilité versg(Y ) lorsque n tend vers l’infini, soit :

g(Y ) = limn→+∞

g(Y ).



Estimation

Exemple

L’estimateur S2 (et aussi S∗2) est convergent en moyennequadratique vers σ2. Il est donc convergent en probabilité, or lafonction g définie par g(u) =

√u est continue sur R. D’après la

proposition précédente, S =√

S2 tend donc en probabilité versσ lorsque n tend vers l’infini. S est donc un estimateurconvergent du paramètre σ.



Estimation

Définition

Soit Tn et T ′n deux estimateurs sans biais de θ. Tn et ditplus efficace que T ′n si :

Var(Tn) ≤ Var(T ′n)

L’estimateur sans biais et de convergence minimale estappelé estimateur efficace.



Estimation

DéfinitionSoit Tn et T ′n deux estimateurs sans biais de θ. Tn et ditplus efficace que T ′n si :





Estimation

DéfinitionSoit Tn et T ′n deux estimateurs sans biais de θ. Tn et ditplus efficace que T ′n si :





Plan1 Introduction








Estimation de la moyenne

PropositionSoit Xn une variable aléatoire dont on veut estimer la moyenne(ou espérance) µ = E(X ) à partir d’un n-échantillon(X1,X2, . . . ,Xn) de X .On ne suppose rien sur la loi de X .

X n =1n

n∑i=1

, la moyenne empirique est un estimateur efficace

de µ.



Estimation de la moyenne

Preuve

X n est sans biais de µ, car E(X n) = µ. De plus, à partir deVar(X n) = Var(X)

nn→+∞−→ 0, on démontre que

∀T ,un autre estimateur deµ,Var(Tn) > Var(X n)



Estimation de la variance d’une population Gaussienne

Proposition

Si µ est connu

T 2n =

1n

n∑i=1

(Xi − µ)2

est un estimateur efficace de σ2

Si µ est inconnu

T 2n =

1n

n∑i=1

(Xi − X n)2

est un estimateur biaisé de σ2, mais asymptotiquementsans biais.




PropositionSi µ est connu

T 2n =

1n

n∑i=1

(Xi − µ)2


Si µ est inconnu

T 2n =

1n

n∑i=1

(Xi − X n)2





PropositionSi µ est connu

T 2n =

1n

n∑i=1

(Xi − µ)2


Si µ est inconnu

T 2n =

1n

n∑i=1

(Xi − X n)2




Plan1 Introduction








Méthode du maximum de vraisemblance

DéfinitionLa vraisemblance d’un échantillon (X1,X2, . . . ,Xn) de la v.a. Xest la fonction L de n + 1 variables définie par :

L(x1, x2, . . . , xn, θ) = f (x1, θ)f (x2, θ) . . . f (xn, θ),

où x1, x2, . . . , xn sont des réalisations possibles de X , θ est leparamètre inconnu. On rappelle que f (x , θ) définie la loi de lav.a. X par la formule :

f (x , θ) =

{p[X = x ], si X est une v.a. discrète ;fX (x), si X est une v.a. continue.




RemarqueCompte tenu de l’indépendance des v.a. X1,X2, . . . ,Xn, lavraisemblance L(x1, x2, . . . , xn, θ) n’est autre que la probabilitéde réalisation de la suite des valeurs x1, x2, . . . , xn lorsque leparamètre inconnu vaut θ.




Principe de la méthode

Étant donné un échantillon x1, x2, . . . , xn à prendre commeestimation de θ la valeur de θ qui rend maximale lavraisemblance L(x1, x2, . . . , xn, θ). Il s’agit là d’un problèmed’optimisation : on cherche une valeur θ0 de θ qui maximise lafonction L(x1, x2, . . . , xn, θ).La fonction de vraisemblance étant positive, on peut aussi seborner à rechercher le maximum sur l’ensemble des θ où cettefonction est strictement positive. Sur cet ensemble, il est alorscommode et équivalent de chercher le maximum de la fonction :




Principe de la méthode

log L(x1, x2, . . . , xn, θ) =n∑

i=1

log f (xi , θ),

une condition nécessaire sur θ est que

∂ log L(x1, x2, . . . , xn, θ)

∂θ= 0,

pour θ = θ0.Et si elle remplie, une condition suffisante pour θ0, alors on :

∂2 log L(x1, x2, . . . , xn, θ)

∂2θ< 0,

pour θ = θ0.




Principe de la méthodeL’estimateur du maximum de vraisemblance étant alors :

θ̂n = θ0(X1,X2, . . . ,Xn).




Exemple : Estimation de la moyenne et la variance d’uneloi normale :Dans ce cas :

X N(m, σ2)

θ = (θ1, θ2),

où θ1 = m et θ2 = σ2.De plus :

f (x , θ) = f (x ,m, σ2) =1

σ√

2πexp

[−1

2

(x −mσ

)2].




Exemple : Estimation de la moyenne et la variance d’uneloi normale :La vraisemblance de l’échantillon s’écrit :

L(x1, x2, . . . , xn, θ) =

(1

σ√

2π

)n

exp

[−1

2

n∑i=1

(xi −mσ

)2],

et le logarithme népérien est

log L(x1, x2, . . . , xn, θ) = n log(

1√2π

)−1

2

n∑i=1

(xi −mσ

)2

−n logσ.




Exemple : Estimation de la moyenne et la variance d’uneloi normale :Les conditions nécessaires consistent en l’annulation desdérivées partielles premières par rapport à m et σ2. Elless’écrivent respectivement :

∂ log L∂m

= − 1σ2

n∑i=1

(xi −m) = 0,

∂2 log L∂σ2 = − n

2σ2 +1

2σ4

n∑i=1

(xi −m)2 = 0.




Exemple : Estimation de la moyenne et la variance d’uneloi normale :De ces deux relations, on conclut

m0 = x ,

σ2 =1n

n∑i=1

(xi − x)2.


Introduction Inférence statistique - échantillonnage Estimation : Estimation ponctuelle Estimation par intervalle de confiance Tests d’hypothèsesPrincipe de le méthode Estimation de la moyenne d’une variable de Laplace Gauss Estimation de l’écart-type d’une loi de Laplace-Gauss Intervalle de confiance pour le paramètre d’une loi binomiale quand n est grand L’estimateur Jack-Knife

Plan1 Introduction








Plan1 Introduction









DéfinitionIl est souvent plus réaliste et plus intéressant de fournir unrenseignement du type a < θ < b plutôt que d’écriresèchement θ̂ = c.Fournir un tel intervalle [a,b] s’appelle donner une estimationpar intervalle de confiance de θ.



Estimation par intervalle de confiance

Principe de la méthodeLa méthode des intervalles de confiance est la suivante : Soit Tun estimateur de θ, dont on connaît la loi de probabilité pourchaque valeur de θ.Étant donné une valeur θ0 de θ, on peut déterminer unintervalle de probabilité de niveau 1− α pour T , c’est-à-diredeux bornes t1 et t2 telles que

p[t1 < T < t2] = 1− α,

pour θ0 = θ.Ces bornes dépendent évidemment de θ0.On choisira dans la plus parts des cas un intervalle deprobabilité à risque symétrique

α

2etα

2.




Principe de la méthodeOn adopte alors la règle de décision suivante :Soit t la valeur observée de T :

si t appartient à l’intervalle [t1, t2], on conserve θ0 commevaleur possible de θ ;si t n’appartient pas à l’intervalle [t1, t2], on élimine θ0.

On répète cette opération pour toutes les valeurs de θ.



Plan1 Introduction








Estimation par intervalle de confiance de m

L’écart-type σ est connu

X n est le meilleur estimateur de m et X n suit une loi

N(

m,σ√n

). L’intervalle de probabilité de X n à 1− α est :

m − uασ√n< X n < m + uα

σ√n,

d’où l’intervalle de confiance :

xn − uασ√n< m < xn + uα

σ√n.

Si 1− α = 0.95, on a uα = 1.96




L’écart-type σ est inconnu

On utilise le fait que T =X n −mS∗n/√

n=

X n −mSn/√

n − 1suit une loi de

student à n − 1 degrés de liberté.L’intervalle de probabilité pour t est

−tα <X n −m

S

√n − 1 < tα.

D’où l’intervalle de confiance :

xn − tαS√

n − 1< m < xn + tα

S√n − 1

,




L’écart-type σ est inconnuoù bien

xn − tαS∗√

n< m < xn + tα

S∗√n.

Le théorème central-limite a pour conséquence que lesintervalles précédents sont valables pour estimer la moyennethéorique m d’une loi quelconque à condition que n soit assezgrand.



Plan1 Introduction








Estimation par intervalle de confiance de σ2

m est connu

T =1n

n∑i=1

(xi −m)2 est le meilleur estimateur de σ2 etnTσ2 suit

la loi χ2n (chi deux à n degrés de liberté) comme somme de n

carrés de loi N(0,1) indépendantes.Soient k1 et k2 les bornes de l’intervalle de probabilité d’unevariable χ2

n :

p[k1 <

nTσ2 < k2

]= 1− α

L’intervalle de confiance est :

ntk1

< σ2 <ntk2,

où t est la valeur prise par T .



Estimation par intervalle de confiance de σ2

m est inconnu

On utilise S2 =1n

n∑i=1

(xi − X )2 et on sait quenS2

σ2 suit la loi

χ2n−1.

Soit l1 et l2 les bornes de l’intervalle de probabilité ;

p[l1 <

nS2

σ2 < l2

]= 1− α,

on a alors :ns2

l1< σ2 <

ns2

l2,



Plan1 Introduction









Estimation du paramètre d’une loi binomialeC’est le problème connu sous le nom d’intervalle de confiancepour une proportion p inconnu. Etant donnée une populationinfinie (ou fini si le tirage s’effectue avec remise) où uneproportion p des individus possédant un certain caractère. Ils’agit de trouver un intervalle de confiance pour p à partir de f ,proportion trouvée sur un échantillon de taille n.




Estimation du paramètre d’une loi binomialeOn sait que nF suit une loi binomiale B(n,p) ; et si n est assezgrand, on sait que :

nF N(np,√

np(1− p)),

donc que

F N

(p,

√p(1− p)

n

).

L’intervalle de probabilité symétrique est :

p − uα

√p(1− p)

n< F < p + uα

√p(1− p)

n.




Estimation du paramètre d’une loi binomialePosons u = k pour simplifier les notations.Les bornes de l’intervalle de probabilité sont données par :

y = p ± k

√p(1− p)

n.

Soit

(y − p)2 =k2p(1− p)

n,

ou

y2 + p2(

1 +k2

n

)− 2py − k2

np = 0,




Estimation du paramètre d’une loi binomiale

Étant donné une valeur f observée, l’intervalle de confiances’obtient en résolvant en p l’équation :

f 2 + p2(

1 +k2

n

)− 2pf − k2

np = 0,

ou

p2(

1 +k2

n

)− p

(k2

n+ 2f

)+ f 2 = 0




Estimation du paramètre d’une loi binomiale

∆ = p(

k2

n+ 2f

)2

− 4(

1 +k2

n

)f

=k4

n2 + 4fk2

n− 4f 2 k2

n.

D’où

p =

(2f + k2

n

)±√

k4

n2 + 4f k2

n − 4f 2 k2

n

2(

1 + k2

n

) .




Estimation du paramètre d’une loi binomialeFormule encombrante, mais dont on peut trouver uneapproximation en considérant que n est grand et en faisant undéveloppement limité au premier ordre en ( 1

n ) ; le premier terme(2f + k2

n

)2(

1 + k2

n

) ≈ f + o(

1n2

),

le second terme se réduit en simplifiant par n2 :√k2 + 4fnk2 − 4f 2nk2

4(n + k2)2 =

√k2 + 4fnk2 − 4f 2nk2

4n2 + 8k2n + 4k4 .




Estimation du paramètre d’une loi binomialeCe radical est équivalent au suivant (en écrivant que chaqueterme est équivalent à celui de plus haut degré en n)√

fnk2 − f 2nk2

n2 = k

√f (1− f )

n.

Donc, on a si n est grand, l’expression approchée suivante pourl’intervalle de confiance :

f − uα

√f (1− f )

n< p < f + uα

√f (1− f )

n.



Plan1 Introduction








L’estimateur Jack-Knife

Cette technique a été proposé pour diminuer le biais d’unestimateur

DéfinitionSoit T un estimateur calculé sur un échantillon de taille n.On note T−i l’estimateur calculé sur le (n − 1)-échantillonobtenu en enlevant l’observation i . On appelle pseudo-valeurT ∗i :

T ∗i = nT − (n − 1)T−i .

L’estimateur Jack-knife est alors la moyenne despseudo-valeurs :

TJ =1n

n∑i=1

T ∗i ,



L’estimateur Jack-Knife

Définitionce qui donne

TJ = T − (n − 1)1n

n∑i=1

(Ti − T ).

La variance de l’estimateur de Jack-knife est alors donnée par :

S2J =

1n

n∑i=1

(T ∗i − TJ)2

n − 1



L’estimateur de Jack-knife

Réduction du biais

Supposons que E(T ) = θ +an

, alors E(TJ) = θ.En effet :

E(TJ) = E(T )− (n − 1)[E(T−i)− E(T )]

= θ +an− (n − 1)[θ +

an − 1

− θ − an

]

= θ +an− a +

n − 1n

a = θ



L’estimateur de Jack-knife

Exercice :A titre d’exercice, on peut vérifier que la méthode de Jack-knifeappliquée à la variance S2 donne l’estimateur S∗2 et queappliquée à X , on retrouve X . Le calcul de Jack-knife estsurtout utile pour des statistiques biaisées dont le biais est trèsdifficile à calculé (coefficient de corrélation par exemple).



Plan1 Introduction








Et c’est facile.


Documents

Statistique(2)