Embed Size (px)
Citation preview
Support du cours de Probabilites et StatistiquesIUT d’Orleans, Departement informatique
Pierre Andreoletti
IUT d’Orleans, Departement InformatiqueLaboratoire MAPMO (Bat. de Mathematiques UFR Sciences)
email: [email protected]
Premiere partie
Probabilites
3
Introduction
La theorie des probabilites a pour objectif de modeliser des experiences ou plusieurs issuessont possibles, mais ou leur realisation n’est pas determinee a l’avance (par exemple un lancede des), ceci en vue d’evaluer les risques ou de mettre sur pieds des strategies pour faire faceaux aleas. La theorie des probabilites ne va pas permettre de predire quelle issue va se realiser,mais quelle chance a chaque issue de se realiser.
La theorie des probabilites et par extension les statistiques a des applications dans denombreux domaines :
1. La biologie et la medecine : reperage de sequences ADN, tests de medicaments,evaluation du risque de propagation de virus ...
2. La finance (Les banques) : evaluation de produits financiers (options ...), maıtrise desrisques lies a des investissements ...
3. Industries : aeronautique, automobile, chimie ...
4. Economie : prevision de croissance, sondages, controle de gestion ...
5. Les jeux : Loto, Casinos ...
Tous ces champs d’applications sont en lien etroit avec l’informatique : developpement et uti-lisation de logiciels de simulations et de logiciels de traitements statistiques, bases de donnees...
Figure 1 – Courbes de fluctuations de deux indices boursiers - Aleatoires ?
1
2
Table des matieres
I Probabilites 3
Introduction 1
1 Evenements Probabilite et Variables aleatoires 5
1.1 L’espace des issues, l’ensemble des evenements . . . . . . . . . . . . . . . . . . . 5
1.2 Definition et Proprietes d’une probabilite . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Variables Aleatoires Discretes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Independance et probabilites conditionnelles 11
2.1 Independance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Probabilites conditionnelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3 Variables Aleatoires Discretes - Moyenne - Variance 17
3.1 Esperance (Moyenne) d’une variable aleatoire discrete . . . . . . . . . . . . . . . 17
3.2 La Variance et la Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.3 Lois classiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.4 Fonction generatrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4 Variables Aleatoires Continues 25
4.1 Definition d’une variable aleatoire absolument continue . . . . . . . . . . . . . . 25
4.2 Esperance et variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.3 Variables aleatoires continues usuelles . . . . . . . . . . . . . . . . . . . . . . . . 27
5 Theoremes limites 33
5.1 Loi des grands nombres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2 Theoreme de la limite centrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
II Statistiques 37
6 Introduction et lois usuelles 39
6.1 Loi du Chi-deux a n degres de liberte (χ2n) . . . . . . . . . . . . . . . . . . . . . 40
6.2 Loi de Student a n degres de liberte (stn) . . . . . . . . . . . . . . . . . . . . . . 40
3
7 Estimateurs, vraisemblance 437.1 Definition d’un estimateur et ses proprietes . . . . . . . . . . . . . . . . . . . . . 437.2 Estimateur des parametres d’une loi normale, X ∼ N(µ, σ) . . . . . . . . . . . . 437.3 Estimateur d’une proportion, X ∼ B(p) . . . . . . . . . . . . . . . . . . . . . . 457.4 Estimateur du maximum de vraisemblance . . . . . . . . . . . . . . . . . . . . . 45
8 Intervalles de confiance 478.1 Intervalle de confiance pour les parametres d’une loi normale N(µ, σ) . . . . . . 478.2 Intervalle de confiance pour le parametre d’une loi de Bernoulli B(p) . . . . . . 50
4
Chapitre 1
Evenements Probabilite et Variablesaleatoires
Dans un premier temps, on va associer a chaque issue possible un nombre entre 0 et 1 quitraduit notre estimation des chances que cette issue a de se realiser : on appelle ce nombrela probabilite de cette issue. On appelle “evenement” un ensemble d’issues. La probabilitequ’on associe a un evenement est la somme des probabilites de chaque issue de cet ensemble.Typiquement, la question est de determiner la probabilite d’un evenement, et la difficulte estd’une part de decrire l’experience de facon commode afin d’enumerer toutes les issues possibleset leur probabilite respective, et d’autre part de decomposer l’evenement considere en issues.
1.1 L’espace des issues, l’ensemble des evenements
Avant de calculer les probabilites d’evenements, il faut definir l’espace des issues de faconcommode et complete. Cet espace comprendra toutes les issues possibles du jeu, oude l’experience aleatoire que l’on considere, meme eventuellement celles qui ne nousinteressent pas, a priori. Dans chaque situation, l’espace des issues sera note Ω (grandomega), alors que les issues seront notees ω (petit omega).
Exemple 1.1.1. On considere un de a 6 faces, numerotees de 1 a 6. On suppose que le deest equilibre, ce qui veut dire que les 6 faces ont la meme chance de sortir. L’ensemble Ω desissues possibles d’un lancer est Ω = 1, 2, 3, 4, 5, 6. Une issue possible est 3 c’est a dire ”laface 3 sort”. Un evenement est par exemple ”On obtient un nombre pair” que l’on peut ecrire2, 4, 6.
Exemple 1.1.2. On considere le meme de, sauf que sur la sixieme face, le nombre 6 a eteremplace par 5. Il y a donc deux faces ou 5 est inscrit. L’ensemble des issues est ici Ω =1, 2, 3, 4, 5. L’evenement ”on obtient un nombre pair” s’ecrit 2, 4.
On considere des experiences avec un nombre fini ou denombrable d’issues. On note Ω cetensemble d’issues et F l’ensemble des evenements. F est l’ensemble des parties de Ω.
5
Exemple 1.1.3. Si Ω = 1, 2, 3, alors
F = ∅, 1, 2, 3, 1, 2, 2, 3, 1, 3, 1, 2, 3
, ou ∅ est l’ensemble vide.
Exemple 1.1.4. Considerons l’exemple 1.1.1, un evenement est par exemple : On obtient unnombre pair, que l’on peut aussi ecrire de la facon suivante 2, 4, 6. Pouvez-vous determinerF ?
En theorie des probabilites on a souvent besoin de ramener le calcul de la probabilited’un evenement au calcul de la probabilite de l’union ou de l’intersection d’evenements pluselementaires, on introduit donc les notations suivantes : Si A et B sont deux sous-ensembles deΩ, on noteA ∪B = ω;ω ∈ A ou ω ∈ B : ”A ou B se realise”A ∩B = ω;ω ∈ A et ω ∈ B : “A et B se realisent”Ar B = ω;ω ∈ A et ω /∈ B : ”A se realise mais pas B”A = ΩrA “l’evenement A ne se realise pas” .
Deux evenements A et B de F sont disjoints s’ils n’ont aucune issue en commun, c’est adire que A ∩B = ∅. Par exemple, A et A sont disjoints, ainsi que ∅ et A.
Exemple 1.1.5. Prenons l’exemple 1.1.1, soit A = 2, 4, 6, B = 5, 6, C = 3, on a :1. A ∪ B = 2, 4, 5, 62. A ∩ B = 63. A ∩ C = ∅
4. A = 1, 3, 5, A correspond a l’evenement ”on obtient un nombre impair”.5. Ar B = 2, 4 on remarque que A \B = A ∩ B.Effectuer une analyse similaire pour l’exemple 1.1.2.
Remarque 1.1.6. Lorsque l’on ecrit l’evenement A ”on obtient un nombre pair” sous la forme2, 4, 6 il est sous-entendu que les ”,” sont des ”ou”, on peut egalement ecrire A = 2∪4∪6 .
1.2 Definition et Proprietes d’une probabilite
On commence par definir ce qu’est une probabilite :
Definition 1.2.1. Une probabilite P sur Ω est une fonction de F dans l’intervalle [0, 1] telleque
1. P (Ω) = 1,
2. Si (Ai)i∈I est une famille finie ou denombrable d’evenements deux a deux disjoints (i.e.Ai ∩ Aj = ∅ si i 6= j), alors
P (∪i∈IAi) =∑
i∈I
P (Ai) (1.1)
6
De cette definition, decoulent les proprietes fondamentales suivantes :
Proposition 1.2.2. 1. P (∅) = 0.
2. Pour tout evenement A, P (A) + P (A) = 1.
3. Pour tous evenements quelconques A et B,
P (A ∪ B) = P (A) + P (B)− P (A ∩B).
4. Si A et B sont deux evenements tels que A ⊆ B alors P (A) ≤ P (B).
Exemple 1.2.3. Reprenons l’exemple 1.1.1, etant donne que le de est equilibre on pense pource cas a une probabilite comme a une fonction p sur Ω, telle que p(1) + ... + p(6) = 1 et onassocie a chaque issue la probabilite 1/6. En utilisant le second point de la definition d’uneprobabilite on calcule facilement la probabilite de l’evenement A =”on obtient un nombre pair”.En effet A = 2 ∪ 4 ∪ 6, les 3 issues qui composent A etant 2 a 2 disjointes 1,P (A) = P (2) + P (4) + P (6) = 1/6 + 1/6 + 1/6 = 1/2. Si on veut maintenant calculer laprobabilite de l’evenement ”obtenir un nombre impair”, on peut utiliser le petit 4. de l’exemple1.1.5 et la propriete 2. de la Proposition 1.2.2
Pour l’exemple 1.1.2, comme le de est equilibre, les faces 1, 2, 3 et 4 ont chacune la proba-bilite 1/6 de sortir, alors que P (5) = 2/6. Quelle est la probabilite qu’un nombre pair sorte ?
L’exemple suivant a pour but de manipuler la propriete 3. de la Proposition 1.2.2
Exemple 1.2.4. Toujours sur l’exemple 1.1.1, soit A = 2, 4, 6, B = 5, 6, C = 3,calculons de deux facon differentes :1. On se rappelle du 1. de l’exemple 1.1.5 et on a donc P (A ∪ B) = P (2, 4, 5, 6) et commechacun des evenements 2, 4, 5 et 6 sont deux a deux disjoints P (A ∪ B) = P (2) +P (4) + P (5) + P (6) = 4/6 = 2/3.2. On utilise la propriete 3. de la Proposition 1.2.2. On a vu dans l’exemple precedent queP (A) = 1/2, il est facile de voir que P (B) = 1/6 + 1/6 = 1/3 et que d’apres le petit 2. del’Exemple 1.1.5, A ∩ B = 6 et donc que P (A ∩ B) = 1/6. Ainsi on obtient P (A ∪ B) =P (A) + P (B)− P (A ∩ B) = 1/2 + 1/3− 1/6 = 2/3.
1.3 Variables Aleatoires Discretes
1.3.1 Definition et Notations
Definition 1.3.1. Une fonction sur Ω a valeurs reelles est appelee variable aleatoire.
Notation Les variables aleatoires seront notees par des lettres majuscules, X, Y, .... Les valeursqu’elles prennent lorsqu’une issue ω se realise sont notees par des lettres minuscules. Par exempleon pourra ecrire x a la place de X(ω).
1. en effet on ne peut obtenir qu’un unique chiffre lors d’un lance !
7
Exemple 1.3.2. Donnons un premier exemple elementaire de variable aleatoire. Une variablede Bernoulli de parametre p ∈ [0, 1] est une variable aleatoire qui prend soit la valeur 0 avecune probabilite 1−p soit la valeur 1 avec une probabilite p, on l’utilise souvent pour decrire uneexperience aleatoire ayant 2 issues possibles. Un autre exemple, que l’on reprendra en detail enTD, on considere le jete de deux des simultanement. On peut definir une variable aleatoire quiest egale a la somme des deux des.
1.3.2 Loi d’une variable aleatoire
Definition 1.3.3. Soit P une probabilite sur un espace des issues Ω. Soit X une variablealeatoire definie sur Ω. Lorsqu’a chaque valeur xi(1 ≤ i ≤ n) de X on associe les probabilites pide l’evenement ”X = xi”, on dit que l’on definit la loi de probabilite PX de la variable aleatoireX .
Remarque 1.3.4. Pour connaıtre la loi d’une variable aleatoire, il faut connaıtrel’ensemble de ses valeurs possibles et la probabilite avec laquelle elle realise chaquevaleur.
Exemple 1.3.5. Une variable de Bernoulli X de parametre p a pour loi :
Valeur de X ≡ xi 0 1pi ≡ P (X = xi) 1-p p
ou p est compris entre 0 et 1. Ce tableau se lit de la facon suivante : p0 ≡ P (X = 0) = 1− p etp1 ≡ P (X = 1) = p. Par convention on notera X ∼ B(p) lorsque X suit une loi de Bernoulli.On remarque que si p = 1 alors X est constante egale a 0.
Prenons maintenant un exemple un peu plus complique,
Exemple 1.3.6. on considere 2 jetes successifs d’une piece de monnaie equilibree. On definitune variable aleatoire X qui compte le nombre de face que l’on a obtenu. Sur deux lances depieces X peut prendre soit la valeur 0 qui correspond a l’evenement ”la piece n’est jamais tombesur face”, soit la valeur 1 qui correspond au cas ou ”la piece est tombe une fois sur face” soitla valeur 2 si on obtient deux fois face. Etant donne que la piece est equilibree on obtient pourX la loi suivante :
xi 0 1 2P (X = xi) 1/4 1/2 1/4
On remarque bien entendu que P (X = 0) + P (X = 1) + P (X = 2) ≡ p0 + p1 + p2 = 1.
Remarque 1.3.7. Bien que tres elementaire ce dernier exemple sous entend l’independancedes deux lances. La notion d’independance qui est intuitive ici sera explicite dans le chapitresuivant. On pourrait par exemple supposer que l’on lance une seconde fois la piece que si on aobtenu face au premier coup, les deux lances ne sont alors plus independants et la loi de X estdonnee par :
xi 0 1 2P (X = xi) 1/2 1/4 1/4
8
1.3.3 Fonction de repartition
Proposition 1.3.8. La loi d’une variable aleatoire X est caracterisee par sa fonction derepartition FX definie par :
FX : R → [0, 1]
x 7→ P (X ≤ x)
Remarque 1.3.9. FX est par definition une fonction en escalier, qui est constante entre deuxvaleurs successives prises par la variable aleatoire X et qui fait un saut en chacune de sesvaleurs. On retrouve donc sur le graphe de FX d’une part les valeurs prises par X ainsi que lesprobabilites d’obtenir les valeurs.Il est equivalent de connaıtre la loi de X ou sa fonction de repartition.
Exemple 1.3.10. Reprenons l’exemple 1.3.6, la fonction de repartition de X est donnee parle graphe suivant :
0
1
1 2
3/4P(X=2)
P(X=0)
P(X=1)
1/4
x
FX(x)
Figure 1.1 – Fonction de repartition pour l’Exemple 1.4.6
1.3.4 Fonction indicatrice
On definit dans ce paragraphe la fonction indicatrice, et on donne quelques proprietes.
Definition 1.3.11. La fonction indicatrice notee 11A d’un evenement A ⊂ Ω, est la variablealeatoire donnee par
11A : Ω → 0, 1
w 7→
1 si ω ∈ A0 si ω /∈ A
Proposition 1.3.12. Pour tout A ⊂ Ω et B ⊂ Ω, on a :
9
1. 11A∩B = 11A ∗ 11B,2. Si A ∩ B = ∅ alors 11A∪B = 11A + 11B,
3. 11A = 1− 11A.
Remarque 1.3.13. La fonction indicatrice 11A est une variable aleatoire de Bernoulli de pa-rametre p = P (A).
10
Chapitre 2
Independance et probabilitesconditionnelles
2.1 Independance
2.1.1 Cas de deux evenements ou deux variables aleatoires
On commence par donner la definition de deux evenements independants :
Definition 2.1.1. Deux evenements A et B sont independants si et seulement si
P (A ∩B) = P (A)P (B). (2.1)
Exemple 2.1.2. On s’interesse a deux lances d’un de. On suppose que ces deux lances sontindependants, c’est a dire que le resultat du lance du premier de n’a aucune influence sur lelance du second de. Ainsi les evenements A = On obtient 2 au premier lance et par exempleB = On obtient 5 au second lances sont independants. En terme de probabilite cela se traduitpar :
P (A ∩B) = P (A)P (B) = (1 \ 6) ∗ (1 \ 6). (2.2)
On definit maintenant l’independance pour deux variables aleatoires :
Definition 2.1.3. Deux variables aleatoiresX : Ω → x1, · · · , xM , · · · et Y : Ω → y1, · · · , xN , · · · sont independantes si pour tous i et j,
P (X = xi, Y = yj) = P (X = xi)P (Y = yj). (2.3)
Exemple 2.1.4. On s’interesse a deux variables aleatoires de Bernoulli : X1 de parametre pet X2 de parametre q. On suppose que X1 et X2 sont independantes. Le couple (X1, X2) peutprendre les valeurs (0, 0) ; (0, 1), (1, 0) et (1, 1). Par independance on a
P ((0, 0)) ≡ P (X1 = 0, X2 = 0) = P (X1 = 0)P (X2 = 0) = (1− p) ∗ (1− q). (2.4)
11
Maintenant definissons la variable aleatoire Y = X1+X2, on peut calculer la probabilite P (Y =0) de la facon suivante : On remarque que l’evenement Y = 0 = X1 = 0, X2 = 0 on endeduit donc, d’apres ce qui precede que P (Y = 0) = (1 − p) ∗ (1 − q). Pouvez vous calculerP (Y = 1) et P (Y = 2) ?
Remarque 2.1.5. Dans l’exemple precedent si on suppose de plus que q = p, la variable Yest connue sous le nom de variable Binomiale de parametres p et 2 correspondant au faitque l’on a somme 2 variables de Bernoulli de meme parametre p independantes pour obtenirY . Nous reviendrons sur les variables Binomiales dans le chapitre suivant.
2.1.2 Cas d’un nombre fini d’evenements ou variables aleatoires
On generalise la notion d’independance a un nombre fini d’evenements et de variablesaleatoires :
Definition 2.1.6. Les evenements A1, A2, · · · , An sont independants si et seulement si pourtout ensemble d’indices I ⊂ 1, · · · , n
P
(
⋂
i∈I
Ai
)
=∏
i∈I
P (Ai), (2.5)
on rappelle que si I = i1, · · · , ik,∏
j∈I P (Aj) ≡ P (Ai1) ∗ P (Ai2) ∗ · · · ∗ P (Aik).
Exemple 2.1.7. Si on a un ensemble de 3 evenements A1, A2 et A3, ils sont independants siet seulement si :
P (A1 ∩ A2 ∩ A3) = P (A1)P (A2)P (A3), (2.6)
P (A1 ∩ A2) = P (A1)P (A2), (2.7)
P (A1 ∩ A3) = P (A1)P (A3), (2.8)
P (A2 ∩ A3) = P (A2)P (A3). (2.9)
Si on lance 3 fois successivement et independamment une piece de monnaie et que l’on souhaitecalculer la probabilite de l’evenement P, F, P ≡ on obtient Pile au premier lance,Face ausecond et Pile au dernier , par independance on a :
P (P, F, P) = P (P )P (F )P (P ) = 1/8. (2.10)
Quelle est la probabilite que l’on obtienne 2 fois Pile ?
Independance pour une suite de variables aleatoires :
Definition 2.1.8. Les variables aleatoires X1, X2, · · · , Xn sont independantes si pour toutensemble d’indices I ⊂ 1, · · · , n et tous reels xi appartenant aux valeurs possibles de Xi,(i ∈ I) :
P
(
⋂
i∈I
Xi = xi)
=∏
i∈I
P (Xi = xi). (2.11)
12
Exemple 2.1.9. Supposons que pour tout 1 ≤ i ≤ 8, Xi suit une loi de Bernoulli de parametrep et supposons que la suite X1, X2, · · · , X8 soit independante, soit I = 1, 3, 6, 8 on a
P
(
⋂
i∈I
Xi = 1)
≡ P (X1 = 1, X3 = 1, X6 = 1, X8 = 1)
= P (X1 = 1) ∗ P (X3 = 1) ∗ P (X6 = 1) ∗ P (X8 = 1) = p4. (2.12)
Soit I = 1, 3 et J = 5, 6 on a
P
(
⋂
i∈I
Xi = 1⋂
j∈I
Xj = 0)
≡ P (X1 = 1, X3 = 1, X5 = 0, X6 = 0)
= P (X1 = 1) ∗ P (X3 = 1) ∗ P (X5 = 0) ∗ P (X6 = 0)
= p2(1− p)2. (2.13)
On termine ce paragraphe par le resultat suivant :
Proposition 2.1.10. Soient X et Y deux variables aleatoires independantes. Si f et g : R → R
sont deux fonctions quelconques, alors f(X) et f(Y ) sont independantes.
2.2 Probabilites conditionnelles
2.2.1 Definitions et proprietes
On commence par une definition
Definition 2.2.1. Soient A et B deux evenements avec P (B) > 0. La probabilite conditionnellede A sachant B est donnee par
P (A|B) =P (A ∩B)
P (B).
On dit que P (A|B) est la probabilite de A sachant B.
Exemple 2.2.2. On reprend ici l’exemple de la Remarque 1.3.7. On effectue 2 lances d’unepiece de monnaie mais avec la regle suivante : on ne relance la piece que si l’on a obtenu faceau premier lance. Il est intuitif que si l’on obtient face au premier lance alors on obtient faceau second avec une probabilite 1/2. Notons A = On obtient Face au second lance et B = Onobtient face au premier lance. On remarque que P (A) = P (A∩B)+P (A∩B) = P (A∩B) =1/4de plus P (B) = 1/2 d’ou
P (A|B) =P (A ∩B)
P (B)= 1/2. (2.14)
On donne maintenant le resultat suivant que l’on verifie ensuite sur un exemple simple :
13
Proposition 2.2.3. Soient A et B deux evenements independants et tel que P (B) > 0, alors
P (A|B) = P (A) (2.15)
Exemple 2.2.4. On utilise les memes notations que pour l’exemple precedent. Si on s’interessea deux lances independants d’une piece de monnaie, independant signifiant que quel que soit leresultat du premier lance on lance une seconde fois la piece, on a donc P (A) = P (B) = 1/2 deplus P (A ∩ B) = 1/4, ainsi
P (A|B) =P (A ∩B)
P (B)= 1/2. (2.16)
On a donc bien P (B|A) = P (B).
2.2.2 Probabilite totale et Theoreme de Bayes
Comme nous l’avons deja mentionne au debut de ce cours il est parfois utile de decomposerun evenement en sous ensemble d’evenements elementaires afin d’en calculer la probabilite avecplus de facilite. La proposition suivante va dans ce sens.On commence par donner la definition d’une partition de Ω
Definition 2.2.5. On appellera partition de Ω toute suite (Ai, i ∈ I) verifiant Ai ∩ Aj = φpour tout i 6= j et
∑
i∈I P (Ai) = 1.
Proposition 2.2.6. Formule des probabilites totales . Soit (Ai, i ∈ I) une partition finieou denombrable de Ω, telle que pour tout i, P (Ai) > 0. Pour tout evenement B ⊂ Ω,
P (B) =∑
i∈I
P (B|Ai)P (Ai). (2.17)
Exemple 2.2.7. Supposons qu’on dispose de deux urnes contenant des boules blanches etnoires. La premiere urne contient 100 boules, dont 99 blanches. La deuxieme urne contient100 boules, dont 10 blanches. Un jeu consiste a choisir une urne au hasard et a tirer une bouledans cette urne. Notons B l’evenement ”On a tire une boule blanche”, on va donner une par-tition de cet evenement. Soient A1 = On a tire dans la premiere urne et A2 = On a tiredans la deuxieme urne, on a Ω = A1 ∪ A2 de plus A1 ∩ A2 = φ, on peut donc ecrire queB = B ∩ A1 ∪B ∩ A2, et ainsi
P (B) = P (B ∩A1) + P (B ∩A2)
= P (B|A1)P (A1) + P (B|A2)P (A2).
Il est facile de voir que P (A1) = 1/2 et P (A2) = 1/2, de plus P (B|A1) = 99/100 et P (B|A2) =1/10. On en deduit donc que P (B) = 109/200.
Proposition 2.2.8. Formule de Bayes. Soit (Ai, i ∈ I) une partition finie ou denombrablede Ω , et soit B tel que P (B) > 0. Pour tout i, on a
P (Ai|B) =P (Ai)P (B|Ai)
∑
j∈I P (B|Aj)P (Aj). (2.18)
14
Exemple 2.2.9. On reprend l’exercice precedent, et l’on cherche a calculer P (A1|B), par laformule de Bayes on a :
P (A1|B) =P (A1) ∗ P (B|A1)
P (B|A1)P (A1) + P (B|A2)P (A2)
D’apres l’exemple precedent P (B) = 109/200 et P (B|A1) = 99/100, on en deduit P (A1|B) =99/109.
15
16
Chapitre 3
Variables Aleatoires Discretes -Moyenne - Variance
Dans ce chapitre on va introduire de nouvelles notions pour les variables aleatoires. Cesnouvelles notions s’appuient sur les definitions et exemples du paragraphe 1.3.
3.1 Esperance (Moyenne) d’une variable aleatoire discrete
La moyenne ou esperance est une valeur qui sert a avoir une idee de la valeur typique d’unevariable aleatoire. Elle n’est en generale pas suffisante pour comprendre comment se comportecette variable aleatoire mais donne une premiere indication. Son avantage est qu’elle est tresfacile a calculer dans la majorite des cas.
3.1.1 Definition et premiers exemples
Commencons par donner une definition :
Definition 3.1.1. Soit Ω un espace fini ou denombrable, P une probabilite sur Ω, et X unevariable aleatoire. On appelle esperance de X (ou moyenne de X) la quantite
E(X) =∑
ω∈Ω
X(ω)P (ω). (3.1)
Remarque 3.1.2. X admet une moyenne que si∑
ω∈Ω X(ω)P (ω) existe.
Commencons par un premier exemple general tres utile dans la pratique,
Exemple 3.1.3. Considerons la variable X ayant pour loi :
Valeurs X x1 x2 · · · xn
P (X = xi) p1 p2 · · · pn
alors E(X) =∑n
i=1 pixi ≡ p1x1 + p2x2 + · · ·+ pnxn.
17
Voyons maintenant un exemple pratique
Exemple 3.1.4. Considerons le jeu suivant, on lance un de et on definit la variable aleatoireX qui prend la valeur de la face du de, la loi de X est
Valeurs de X 1 2 3 4 5 6Probabilites P (X = xi) 1/6 1/6 1/6 1/6 1/6 1/6
par l’exemple precedent on en deduit E(X) = 1∗1/6+2∗1/6+3∗1/6+4∗1/6+5∗1/6+6+1/6 = 3.
Remarque 3.1.5. Dans l’exemple precedent on remarque que la probabilite d’obtenir unevaleur (entre 1 et 6) est toujours la meme egale a 1/6. On dit que X suit une loiuniforme.
Deux exemples fondamentaux :
Exemple 3.1.6. Moyenne d’une variable de Bernoulli. Soit X une variable de Bernoullide parametre p, par definition d’une variable de Bernoulli (Exemple 1.4.5), on a
E(X) = 1 ∗ P (X = 1) + 0 ∗ P (X = 0) = p.
Ainsi l’esperance d’une variable de Bernoulli de parametre p est egale a p.
Exemple 3.1.7. Moyenne d’une fonction indicatrice. Soit A un sous ensemble de Ω, oncherche a calculer E(11A), on a d’apres la definition :
E(11A) =∑
ω∈Ω
11(ω)P (ω)
=∑
ω∈A
11(ω)P (ω) +∑
ω∈A
11(ω)P (ω)
= 1 ∗ P (A) + 0 ∗ P (A) = P (A).
Ainsi l’esperance de 11A est egale a P (A).
3.1.2 Proprietes de l’esperance (moyenne)
On enonce maintenant les proprietes elementaires de l’esperance, dans toute la suite X et Ysont deux variables aleatoires.
Proposition 3.1.8. Linearite de l’esperance. Soit a ∈ R, alors
1. E(aX)=aE(X),
2. E(X+Y)=E(X)+E(Y).
D’autres proprietes elementaires que l’on utilise frequemment sont
Proposition 3.1.9. Soit a ∈ R, alors
18
1. E(a)=a,
2. X ≥ 0 ⇒ E(X) ≥ 0,
3. X ≥ Y ⇒ E(X) ≥ E(Y ).
Exemple 3.1.10. Soient X et Y deux variables de Bernoulli de parametre respectif p et q.Pour calculer E(X+Y ) il suffit de sommer E(X) et E(Y ), dans l’exemple 3.1.5 on a vu que lamoyenne d’une variable de Bernoulli est egale a son parametre, on en deduit E(X+Y ) = p+q.Pour tout a ∈ R, on a egalement E(aX) = ap.
Pour terminer on enonce une propriete de l’esperance qui est vraie que si l’on a independanceentre variables aleatoires :
Proposition 3.1.11. Si X et Y sont independantes, alors :
E(XY ) = E(X)E(Y ). (3.2)
Exemple 3.1.12. Prenons deux variables de Bernoulli independantes X et Y de parametrerespectif p et q, alors E(XY ) = p ∗ q. Supposons maintenant que Y = 11A ou A ⊂ Ω, alors ona E(XY ) = E(X) ∗ E(Y ) = p ∗ P (A).
3.2 La Variance et la Covariance
Comme nous l’avons dit precedemment la moyenne n’est pas suffisante pour avoir une bonneidee du comportement d’une variable aleatoire. La variance mesure un ecart (quadratique)moyen de la variable aleatoire par rapport a cette moyenne. On dit qu’elle mesure une dispersionde la variable par rapport a sa moyenne.On commence par definir le second moment d’une variable aleatoire
Definition 3.2.1. Soit Ω un espace fini ou denombrable, P une probabilite sur Ω, et X unevariable aleatoire. On appelle second moment de X la quantite
E(X2) =∑
ω∈Ω
X2(ω)P (ω). (3.3)
Remarque 3.2.2. E(X2) n’existe que si∑
ω∈Ω X2(ω)P (ω) existe.
Definition 3.2.3. La variance d’une variable aleatoire X , telle que E(X2) < ∞, et noteevar(X) est le nombre positif suivant
var(X) = E((X − E(X))2) (3.4)
Remarque 3.2.4. Dans la pratique on utilise la ”definition” suivante qui est en fait une simpleconsequence de la definition precedente :
var(X) = E(X2)− (E(X))2. (3.5)
19
Donnons un premier exemple general
Exemple 3.2.5. Reprenons la variable X de l’Exemple 3.1.2, par definition on a :
E(X2) =
n∑
i=1
x2i pi, (3.6)
V ar(X) =n∑
i=1
x2i pi − (
n∑
i=1
xipi)2. (3.7)
Calculons la variance d’une variable de Bernoulli de parametre p, on a : E(X2) = 12 ∗ p+ 02 ∗(1− p) = p ainsi var(X) = p− p2.
Donnons immediatement quelques proprietes de la variance
Proposition 3.2.6. Soit X une variable aleatoire et a ∈ R,
1. var(aX) = a2var(X),
2. var(X + a) = var(X),
3. var(a) = 0,
4. var(X) = 0 ssi pour tout ω ∈ Ω tel que P (ω) > 0, X(w) = E(X).
Donnons maintenant une propriete de la variance pour deux variables aleatoires independantes.
Proposition 3.2.7. Soient X et Y deux variables aleatoires independantes, on a
var(X + Y ) = var(X) + var(Y ). (3.8)
On introduit maintenant une nouvelle valeur la covariance elle mesure la correlation entredeux variables aleatoires.
Definition 3.2.8. Soient X et Y deux variables aleatoires, on a
Cov(X, Y ) = E((X −E(X))(Y − E(Y )). (3.9)
Proposition 3.2.9. Soient X et Y deux variables aleatoires, on a
1. Cov(X,Y)=E(XY)-E(X)E(Y),
2. Si X et Y sont independantes alors Cov(X, Y ) = 0.
Exemple 3.2.10. Prenons X ∼ B(p), et Y = −X, calculons Cov(X, Y ) on a :
E(XY ) = −E(X2) = −p, (3.10)
on sait de plus que E(X)E(Y ) = −(E(X))2 = −p2, d’apres la Proposition ci-dessus on endeduit Cov(X, Y ) = −p(1− p).Supposons maintenant queX et Y sont 2 variables aleatoires quelconques independantes, d’apresla Proposition 3.1.10 E(XY ) = E(X)E(Y ) donc Cov(X, Y ) = 0.
Remarque 3.2.11. Il est facile de montrer que pour tout X et Y , V ar(X + Y ) = V ar(X) +V ar(Y ) + 2Cov(X, Y ).
20
3.3 Lois classiques
3.3.1 Loi de Bernoulli B(p)
Nous avons deja beaucoup parle des variables de Bernoulli, c’est une variable aleatoire treselementaire prenant deux valeurs differentes. Dans ce paragraphe nous resumons ses principalesproprietes.Soit X ∼ B(p), la loi de X est donnee par P (X = 1) = p et P (X = 0) = 1− p.
Proposition 3.3.1.
E(X) = p,
V ar(X) = p(1− p).
3.3.2 Loi Binomiale B(n, p)
Definition 3.3.2. Soient (X1, X2, · · · , Xn) n ∈ N variables aleatoires independantes de Ber-noulli, chacune de ces variables ayant pour parametre p, la variable aleatoire Sn definie parSn =
∑ni=1Xi suit une loi binomiale de parametres n et p, on note Sn ∼ B(n, p). De plus la
loi de Sn est donnee par : pour tout k ∈ 1, 2, · · · , n
P (Sn = k) = Cknp
k(1− p)n−k (3.11)
ou Ckn = n!
(n−k)!k!. On rappelle que k! (factoriel k) est egale a k ∗ (k − 1) ∗ (k − 2) ∗ · · · ∗ 2 ∗ 1.
1 2 3 4 5 6 7 8 9 10 11 12 130
0.05
0.1
0.15
0.2
0.25Loi d une Binomiale B(1/2,12)
k
P(X
=k)
On donne maintenant la moyenne et la variance d’une Binomiale de parametres p et n
Proposition 3.3.3.
E(X) = n ∗ p, (3.12)
V ar(X) = np(1− p). (3.13)
21
Un exemple typique ou une variable binomiale apparaıt est le suivant :
Exemple 3.3.4. On effectue n lances d’une piece de monnaie equilibree, on definit Sn lavariable aleatoire qui va compter le nombre de fois ou la piece tombe sur Face. Pour comprendrepourquoi Sn suit une loi binomiale on effectue la demarche suivante : on definit X1 la variablealeatoire qui prend la valeur 1 si la piece tombe sur ”face” lors du premier lance et 0 sinon,de meme on definit pour tout 2 ≤ i ≤ n la variable aleatoire Xi qui prend la valeur 1 si lapiece tombe sur ”face” lors du ieme lance. Il apparaıt clairement que chaque variable Xi suit uneloi de Bernoulli de parametre 1/2.
∑ni=1Xi compte le nombre de face que l’on a obtenu sur n
lances. Chaque lance etant independant les uns des autres Sn =∑n
i=1Xi suit une loi binomialede parametre 1/2 et n.
3.3.3 Loi de Poisson P (λ)
Commencons par une definition qui donne la loi d’une variable de Poisson :
Definition 3.3.5. X suit une loi de Poisson de parametre λ si et seulement si pour tout k ∈ N
on a :
P (X = k) = e−λλk
k!. (3.14)
1 2 3 4 5 6 7 8 9 10 11 12 130
0.2
0.4
0.6
0.8
1
1.2
1.4x 10
−9 Loi de Poisson P(1/2)
k
P(X
=k)
Remarque 3.3.6. Cette variable aleatoire est differente de toutes celles qui ont ete introduitesjusqu’a maintenant car elle prend un nombre infini denombrable de valeurs. On peut verifierque 3.14 est une mesure de probabilite en montrant que :
+∞∑
k=0
e−λλk
k!= 1. (3.15)
La preuve est elementaire, elle decoule de la definition de eλ.
22
On donne maintenant la moyenne et la variance de X ,
Proposition 3.3.7. Si X ∼ P (λ)
E(X) = λ, (3.16)
V ar(X) = λ. (3.17)
3.3.4 Loi Geometrique G(p)
Definition 3.3.8. X suit une loi de geometrique de parametre p si et seulement si pour toutk ∈ N on a :
P (X = k) = (1− p)k−1p. (3.18)
1 2 3 4 5 6 7 8 9 10 11 12 130
0.05
0.1
0.15
0.2
0.25Loi Geometrique G(0.2)
k
P(X
=k)
De meme que la loi de Poisson une variable aleatoire qui suit une loi Geometrique prend unnombre infini denombrable de valeur avec une probabilite strictement positive. On verifie que∑+∞
k=0(1− p)k−1p = 1.
Proposition 3.3.9. Si X ∼ G(p)
E(X) =1
p, (3.19)
V ar(X) =1− p
p2. (3.20)
3.4 Fonction generatrice
La notion de fonction generatrice, comme la fonction de repartition vue au paragraphe 1.4.3est une facon de caracteriser la loi d’un variable aleatoire. C’est a dire qu’il est equivalent deconnaıtre une loi de probabilite ou sa fonction generatrice.
23
Definition 3.4.1. Soit X une variable aleatoire a valeurs dans N. La fonction generatrice GX
de X est donnee par
GX(t) = E(tX) =
+∞∑
k=0
tkP (X = k). (3.21)
Remarque 3.4.2. De facon generale, G est definie pour tout t ∈ [−1,+1], GX(t) existe si etseulement si la serie de terme generale tkP (X = k) est absolument convergente.
Proposition 3.4.3. La fonction generatrice d’une variable aleatoire X a valeurs dans N ca-racterise sa loi. Autrement dit, si X et Y sont deux variables a valeurs dans N,
GX = GY ⇐⇒ ∀k ∈ N, P (X = k) = P (Y = k). (3.22)
Exemple 3.4.4. Soit X une variable de Bernoulli de parametre p, on a :
GX(t) = t0P (X = 0) + t1P (X = 1) = (1− p) + pt. (3.23)
On enonce maintenant un resultat pour une somme de variables independantes :
Proposition 3.4.5. Soient X et Y des variables aleatoires independantes, alors
GX+Y (t) = GX(t) ∗GY (t). (3.24)
Plus generalement,
Proposition 3.4.6. Soient X1, X2 · · ·Xn des variables aleatoires independantes, alors
G∑n
i=1 Xi(t) =
n∏
i=1
GXi(t). (3.25)
La fonction generatrice permet de retrouver facilement la moyenne et le second moment d’unevariable aleatoire :
Proposition 3.4.7. Soit X une variable aleatoire, alors
G′X(1) = E(X), G′′
X(1) = E(X2)− E(X), (3.26)
ou G′X designe la derivee premiere de GX et G′′
X sa derivee seconde.
24
Chapitre 4
Variables Aleatoires Continues
Les variables aleatoires que nous avons etudiees jusqu’a maintenant prenaient un nombre finiou denombrable de valeurs. Il est tres souvent interessant, en particulier dans les applicationsindustrielles, de considerer des variables aleatoires a valeurs continues dans un espace infini nondenombrable. Par exemple, en finance on modelise le prix d’une action par une variable aleatoirea valeurs continues dans R+. En physique on peu modeliser la trajectoire d’une particule dansun fluide par une variable aleatoire a valeur dans R
3 ... La definition d’une variable aleatoirecontinue fait appel a des concepts abstraits avances que nous n’introduirons pas ici, nous nouslimiterons donc aux variables aleatoires absolument continues que nous pourrons definir a partirde leur densite.
4.1 Definition d’une variable aleatoire absolument conti-
nue
Definition 4.1.1. On dira qu’une fonction f est une densite de probabilite si elle est continue(sauf eventuellement en un nombre denombrable de points), positive et si
∫
R
f(t)dt = 1 (4.1)
Definition 4.1.2. On appellera variable aleatoire continue X toute variable aleatoire a valeursdans R, telle que pour tout x ∈ R
P (X ≤ x) =
∫ x
−∞f(t)dt (4.2)
ou f est une densite de probabilite.
On dit que f est la densite de probabilite de X.
Proposition 4.1.3. Si X est de densite f ,
1. pour tout x ∈ R, P (X = x) = 0,
25
2. pour tous x, y ∈ R tels que x ≤ y, P (X ∈ [x, y]) =∫ y
xf(t)dt.
Remarque 4.1.4. Dans la pratique pour verifier que f est une une densite de pro-babilite on verifie que :
1. f est continue (sauf eventuellement en un nombre denombrable de points) et positive,
2.∫ +∞−∞ f(t)dt = 1.
Exemple 4.1.5.
f(x) =
1 si x ∈ [0, 1]0 si 0 /∈ [0, 1]
Il est clair que cette fonction est positive et continue sauf en 0 et en 1 c’est a dire en un nombredenombrable de points donc la condition 1. de la Remarque precedente est verifiee. La condition2. est egalement verifiee sans difficulte. f est donc bien une densite de probabilite. Si on cherchea calculer la probabilite que X soit comprise entre 1/6 et 1/3, c’est a dire P (X ∈ [1/6, 1/3]) ≡P (1/6 ≤ X ≤ 1/3) on doit effectuer le calcul suivant
P (X ∈ [1/6, 1/3]) =
∫ 1/3
1/6
f(t)dt =
∫ 1/3
1/6
dt = 1/6. (4.3)
4.2 Esperance et variance
Dans ce paragraphe on rappelle des notions que l’on a deja vues pour des variables aleatoiresdiscretes.
Definition 4.2.1. Soit X une variable de densite f .
1. L’esperance ou moyenne est donnee par :
E(X) =
∫ +∞
−∞tf(t)dt, (4.4)
2. Le moment d’ordre 2 est donne par :
E(X2) =
∫ +∞
−∞t2f(t)dt, (4.5)
3. La variance est donne par :
V ar(X) = E(X2)− (E(X))2. (4.6)
Remarque 4.2.2. Bien entendu ces definitions sont soumises a la condition d’existence desintegrales.
26
Exemple 4.2.3. Reprenons l’Exemple 4.1.4, on a :
E(X) =
∫
R
tf(t)dt =
∫ 1
0
tdt = [t2/2]10 = 1/2, (4.7)
E(X2) =
∫ 1
0
t2dt = [t3/3]10 = 1/3. (4.8)
(4.9)
Rappelons maintenant les principales proprietes de l’esperance et de la variance.
Proposition 4.2.4. Soient X et Y deux variables aleatoires continues et soit a ∈ R, alors
1. E(aX) = aE(X),
2. E(X + Y ) = E(X) + E(Y ),
3. Si X et Y sont independantes alors E(XY ) = E(X)E(Y ),
4. Si X et Y sont independantes alors V ar(X + Y ) = V ar(X) + V ar(Y )
4.3 Variables aleatoires continues usuelles
Comme pour les variables aleatoires discretes nous allons maintenant definir un certainnombre de variables aleatoires continues usuelles, en tracer la densite et en donner l’esperanceet la variance.
4.3.1 La loi uniforme
La loi uniforme a deja ete introduite dans nos differents exemples, on en donne ici unedefinition un peu plus generale :
Definition 4.3.1. X suit une loi uniforme si et seulement si il existe a et b deux reels tels quea < b, et
f(x) =
1b−a
si x ∈ [a, b]
0 si x /∈ [a, b]
Le cas a = 0 et b = 1 est celui que l’on a traite dans l’Exemple 4.14.
Proposition 4.3.2.
E(X) =b+ a
2,
E(X2) =b2 + ab+ a2
3,
V ar(X) =(b− a)2
12.
27
−1 1
12
f(x)
x
Figure 4.1 – Densite d’une loi uniforme, a = −1 et b = 1
4.3.2 La loi de Cauchy
Definition 4.3.3. X suit une loi de Cauchy si et seulement si pour tout x ∈ R sa densite fest donnee par
f(x) =1
π(1 + x2)
−6 −4 −2 0 2 4 60
0.05
0.1
0.15
0.2
0.25
0.3
0.35Densite d une loi de Cauchy
x
f(x)
Remarque 4.3.4. La fonction x 7→ x/(1 + x2) n’etant pas integrable sur R, X n’a pasd’esperance.
28
4.3.3 La loi Normale
Definition 4.3.5. X suit une loi Normale reduite centree (X ∼ N(0, 1)) si et seulement sipour tout x ∈ R sa densite f est donnee par
f(x) =1√2π
e−x2
2
−6 −4 −2 0 2 4 60
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4Densite d une loi normale reduite centree
x
f(x)
Proposition 4.3.6. Soit X une v.a. suivant une loi normale reduite centree :
E(X) = 0,
E(X2) = 1,
V ar(X) = 1.
On definit maintenant une loi normale de moyenne m et variance σ2 quelconque :
Definition 4.3.7. X suit une loi normale X ∼ N(m, σ) si et seulement si pour tout x ∈ R sadensite f est donnee par
f(x) =1√2πσ2
e−(x−m)2
2σ2
Sur le graphe ci-dessous on a dessine 3 densites normales de meme variance mais avec troismoyennes differentes :
29
−6 −4 −2 0 2 4 60
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4Densite d une loi normale reduite a differentes moyennes
x
f(x)
m=−2
m=0
m=2
Sur le graphe ci-dessous on a dessine 3 densites normales de meme moyenne mais avec troisvariances differentes :
−6 −4 −2 0 2 4 60
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8Densite d une loi normale centree a differentes variances
x
f(x)
sigma=0,5
sigma=1
sigma=2
Proposition 4.3.8. Soit X une v.a. suivant une loi normale de moyenne m et de varianceσ2 :
E(X) = m,
E(X2) = σ2 +m2,
V ar(X) = σ2.
4.3.4 La loi exponentielle
Definition 4.3.9. X suit une loi exponentielle de parametre α ssi pour tout x ∈ R sa densitef est donnee par
f(x) = αe−αx11[0,+∞[
30
0 1 2 3 4 5 60
0.5
1
1.5Densite d une loi Exponentielle de parametre 1.5
Proposition 4.3.10. Soit X une v.a. suivant une loi exponentielle de parametre α :
E(X) =1
α,
E(X2) =2
α2,
V ar(X) =1
α2.
31
32
Chapitre 5
Theoremes limites
Dans ce chapitre nous allons etudier deux resultats fondamentaux en theorie des probabilitesqui sont utilises quasi systematiquement pour des problemes de statistiques.
5.1 Loi des grands nombres
Reprenons le lance d’une piece de monnaie equilibree. Etant donne que l’on a une chancesur deux d’obtenir ”face” lors d’un lance, on a envie de dire qu’a la fin de n lances de cettepiece on va obtenir, a peu-pres, n/2 fois face et n/2 fois pile. Le but de cette premiere partieest de montrer ce resultat est d’interpreter le terme a ”peu-pres” en terme de probabilite.
5.1.1 Moyenne empirique
On commence par la definition de la Moyenne Empirique Soient X1, X2, · · · , Xn, n variablesaleatoires independantes et de meme loi, On definit la somme de ces variables aleatoires
Sn =n∑
i=1
Xi, (5.1)
et la moyenne empirique est donnee par
Sn =Sn
n. (5.2)
Proposition 5.1.1. On a :
1. E(Sn) = E(X1),
2. V ar(Sn) =var(X1)
n.
Exemple 5.1.2. On s’interesse ici au nombre de faces obtenues apres n lances d’une pieceequilibree. On a vu dans l’Exemple 3.3.4, que le nombre de faces obtenues Sn suit une loibinomiale de parametres 1/2 et n. D’apres la Proposition 3.3.3 on a : E(Sn) = n ∗ 1/2 etV ar(Sn) = n/4. Par linearite de l’esperance (Proposition 3.1.7), on a E(Sn) = 1/nE(Sn) =
33
1/2. Par la Proposition 3.2.4, 1. on a V ar(Sn) =1n2V ar(Sn) = 1/(4n). On remarque que l’on a
bien E(Sn) = E(X1) et V ar(Sn) = V ar(X1)/n. On remarque egalement que E(Sn) = n/2 estbien conforme a notre intuition : si on a une chance sur deux d’obtenir un certain resultat lorsd’une experience et que l’on reitere de maniere independante cette experience n fois, alors enmoyenne on obtiendra le resultat n/2 fois. En fait la Loi faible des grands nombres (paragraphe5.2.3) nous dira que l’on a plus que cela.
5.1.2 Inegalite de Markov et de Chebyshev
Ce paragraphe a pour but de donner les outils pour demontrer la loi faible des grandsnombres. La preuve de ce resultat dont nous donnerons la demonstration est basee sur uneinegalite tres utilisee en theorie des probabilite l’inegalite de Chebyshev.
Proposition 5.1.3. Inegalite de Markov Soit X une v.a. positive telle que E(X) < +∞,pour tout c > 0 on a
P (X > c) ≤ E(X)
c. (5.3)
PreuveEn guise d’exemple et etant donne la simplicite de la preuve de cette proposition, nous endonnons les arguments ici. On a :
X = X11X≥c +X11X<c, (5.4)
et comme X est positive,
X ≥ X11X≥c. (5.5)
De plus X11X≥c ≥ c11X≥c, on en deduit :
X ≥ c11X≥c. (5.6)
En prenant la moyenne de chaque cote de cette inegalite on obtient la Proposition.
Un corollaire de la Proposition ci-dessus est :
Corollaire 5.1.4. Inegalite de Chebytshef Soit X une v.a. telle que V ar(X) < +∞. Pourtout ǫ > 0
P (|X − E(X)| > ǫ) ≤ V ar(X)
ǫ2. (5.7)
5.1.3 Loi faible des grands nombres
Theoreme 5.1.5. Soit (Xi, i ∈ N) une suite de variables aleatoires independantes de meme loitelles que V ar(X1) < ∞. Pour tout ǫ > 0,
limn→+∞
P (|Sn − E(X1)| ≤ ǫ) = 1. (5.8)
ou Sn a ete definie en 5.2.
34
Remarque 5.1.6. Ce resultat dit la chose suivante : avec une probabilite qui tend vers 1 quandn tend vers l’infini la moyenne empirique Sn des (Xi, i ≤ n) tend vers la moyenne d’une desvariables Xi, qui ont toute la meme moyenne puisque de meme loi. Pour notre lance de piececela signifie qu’avec une probabilite qui tend vers 1, si on fait n lances on obtiendra bien apeu-pres (a ǫ ∗ n pres, ou ǫ est petit) n/2 fois ”face”.
La preuve est extremement simple moyennant l’inegalite de Chebytshev :
PreuveOn applique l’inegalite de Chebytshev a X = Sn. En utlisant la Proposition 5.2.1 on obtient :
P (|Sn − E(X1)| > ǫ) ≤ (V ar(X1))2
nǫ2. (5.9)
Par hypothese V ar(X1) < +∞, la probablite ci-dessus tend donc vers 0 quand n tend versl’infini. Pour terminer on utilise le fait que pour tout evenement A, P (A) = 1 − P (A) avecA = |Sn −E(X1)| ≤ ǫ.
5.2 Theoreme de la limite centrale
5.2.1 Le resultat
Le theoreme suivant est fondamental tant en theorie des probabilites qu’en statistiques. Oncommence par enoncer ce theoreme. Notons
σ2 ≡ V ar(X1), (5.10)
µ ≡ E(X1). (5.11)
Theoreme 5.2.1. Soit (Xi, i ∈ N) une suite de variables aleatoires independantes de meme loitelles que σ2 < ∞ . Pour tout a, b ∈ R, tels que a < b
limn→+∞
P
(
a <√nSn − µ
σ< b
)
= P (a < Z < b), (5.12)
ou Sn a ete definie en 5.2 et Z ∼ N(0, 1).
On peut egalement ecrire ce resultat sous la forme :
limn→+∞
P
(
a <Sn − nµ√
nσ< b
)
= P (a < Z < b). (5.13)
Intuitivement, ce resultat montre que pour n grand, Sn suit une loi normale N(nµ,√nσ).
Ce que l’on remarque est que ce resultat ne depend pas de la loi des Xi, ce resultat est doncuniversel pour toute somme de variables aleatoires independantes de meme loi.
35
5.2.2 Approximation d’une loi binomiale par une loi Normale ou
par une loi de Poisson
Pour terminer nous donnons les deux resultats d’approximation suivants, tres utilise dans lescalculs
Approximation par une loi normal
Proposition 5.2.2. 1. Soit X une variable aleatoire suivant une loi binomiale B(n, p), si nsuffisamment grand (n > 100), np > 10 et n(1− p) > 10, alors X ∼ N(np,
√
np(1− p)).
Approximation par une loi de Poisson
Proposition 5.2.3. 1. Soit X une variable aleatoire suivant une loi binomiale B(n, p), sin suffisamment grand (n > 50) et p tres petit (np ≤ 10), alors X ∼ P (pn).
36
Deuxieme partie
Statistiques
37
Chapitre 6
Introduction et lois usuelles
Le but de la statistique est de traiter des donnees (en general en grand nombre) en vue d’entirer une information utile. Ces donnees proviennent d’un sondage, de mesures, etc..., et sontdonc des realisations d’un phenomene aleatoire.
La demarche de la statistique est donc en quelque sorte l’inverse de celle des probabilites.En probabilite, on se donne une variable X de loi connue P , et on tire de ce modele des in-formations sur les realisations de cette variable (observation la plus probable, probabilite pourqu’une observation soit dans un certain ensemble, ... etc).En statistique, la donnee de base est la donnee d’une realisation X de la variable aleatoire Xde loi inconnue P supposee appartenir a un certain ensemble de probabilites. A partir d’uneobservation X(ω), on essaie d’avoir des informations sur la loi. Par exemple connaıtre le pa-rametre p d’une loi binomiale.La famille des lois possibles est ce que l’on appelle le modele statistique. Le modele statistiquedecrit l’information dont on dispose a priori sur le phenomene aleatoire considere et l’ensembledes parametres inconnus. Il decrit tout ce qu’on ignore sur le phenomene aleatoire.
Exemple 6.0.4. Un chimiste veut connaıtre la concentration µ en acetone d’un certain produit.Pour cela, il preleve dix echantillons de ce produit, dont il determine la concentration. Il obtientainsi dix mesures (x1, ..., x10) probablement differentes de µ, chaque dosage etant entached’erreurs. Il a donc observe le vecteur aleatoire X = (X1, · · · ,X10) avec Xi = µ + ǫi, ou ǫirepresente les erreurs de dosage. Il dispose des informations a priori suivantes :• la loi de chaque ǫi est independante de µ (les erreurs de dosage ne dependent pas de laconcentration du produit) ;• les variables aleatoires ǫi sont independantes (les erreurs de mesure faites lors d’un dosagene se repercutent pas sur les dosages suivants) ;• les ǫi ont meme loi (la methode de dosage utilisee est toujours la meme) ;• la moyenne des ǫi est nulle (la methode de dosage n’introduit pas une erreur systematique) ;• la variance σ2 des ǫi est connue (on connaıt la precision de la methode de dosage utilisee).Il suppose de plus que la loi commune des ǫi est la loi normale (de moyenne µ, et de varianceσ2). Cette hypothese peut se justifier par le Theoreme de la Limite Centrale, si l’on considereque les erreurs de dosage proviennent de l’accumulation d’un grand nombre de petites erreurs
39
independantes. Ces hypotheses/informations a priori conduisent le chimiste a considerer qu’ilobserve une realisation d’un 10-echantillon de loi N(µ, σ). Ce modele statistique contient unseul parametre inconnu, a savoir µ. Nous allons etudier differentes methodes pour
determiner µ.
Nous avons besoin, en plus de la loi normale et de la loi de Poisson definies dans le coursde probabilite, de deux nouvelles lois de probabilite :
6.1 Loi du Chi-deux a n degres de liberte (χ2n)
Cette loi joue un role important dans les tests statistiques et l’estimation de la variance.Soit n ∈ N
∗
Definition 6.1.1. Soient X1, X2, · · · , Xn, n variables aleatoires independantes de meme loinormale centree reduite X1 ∼ N(0, 1) alors
n∑
i=1
X2i ∼ χ2
n
Remarque 6.1.2.Une variable aleatoire suivant une loi du χ2
n est toujours positive. La densite de cette loi estdonnee par
fχ2n(x) = cnx
n/2−1 exp(−x/2)
ou cn est telle que∫ +∞0
fχ2n(x)dx = 1.
On donne maintenant quelques proprietes :
Proposition 6.1.3. Soit X ∼ χ2n,
• Pour tout n > 2, E(X) = n et V (X) = 2n,• (X − n)/(2n)1/2 → N(0, 1) en loi quand n → ∞, (en pratique n > 30),• Soient l et k deux entiers si Z1 ∼ χ2
l , Z2 ∼ χ2k et que de plus Z1 et Z2 sont independantes
alors Z1 + Z2 ∼ χ2l+k.
Pour calculer des probabilites impliquant une loi du χ2. on dispose comme pour la loi normale
d’un tableau de valeurs.
6.2 Loi de Student a n degres de liberte (stn)
Elle joue un role important dans l’estimation par intervalle de confiance. Elle est symetrique,de moyenne nulle et de parametre n qui est aussi appele nombre de degres de liberte. Le graphede la densite de cette loi depend du parametre n, il est en general plus aplati que celui d’uneloi normale N(0, 1).
40
Definition 6.2.1. Soient X ∼ N(0, 1) et Y ∼ χ2n des variables aleatoires independantes, alors
Z =X
√
Y/n∼ stn.
Remarque 6.2.2.La densite de cette loi est donnee par
fstn(x) = cn(
1 + x2/n)−(n+1)/2
ou cn est telle que∫ +∞−∞ fstn(x)dx = 1.
On donne maintenant quelques proprietes :
Proposition 6.2.3. Soit Z ∼ stn,• Pour tout n > 1, E(Z) = 0, pour tout n > 2 V (Z) = n/(n− 2),• Z → N(0, 1) en loi quand n → ∞, (en pratique n > 30).
Pour calculer des probabilites impliquant une loi de stn on dispose comme pour la loi normaled’un tableau de valeurs.
41
42
Chapitre 7
Estimateurs, vraisemblance
SoitX une variable aleatoire dont la loi L est fonction d’un parametre θ, soit (X1, X2, · · · , Xn)un echantillon de X , c’est a dire une suite de variables aleatoires independantes et ayant lameme loi que X . n est la taille de l’echantillon, n ∈ N. Enfin notons (x1 := X1(ω), x2 :=X2(ω), · · · , xn := Xn(ω)) une realisation de la suite (X1, X2, · · · , Xn).
7.1 Definition d’un estimateur et ses proprietes
Definition 7.1.1. Un estimateur de θ est une certaine ”fonction”, notee Kn, des variablesaleatoires (X1, X2, · · · , Xn).
Remarque 7.1.2. On peut avoir plusieurs estimateurs pour un meme parametre. On appelleerreur d’estimation la difference Kn − θ.
Ci-dessous on donne quelques proprietes possibles pour un estimateur :
Definition 7.1.3.
1) L’estimateur Kn est dit sans biais si E(Kn) = θ,2) L’estimateur Kn est dit asymptotiquement sans biais si limn→+∞E(Kn) = θ,3) L’estimateur Kn est dit convergent si limn→+∞ V ar(Kn) = θ,4) Soit K ′
n un second estimateur de θ. Kn est plus efficace que K ′n si V ar(Kn) ≤ V ar(K ′
n).5) Un estimateur sans biais et de variance minimale est appele estimateur efficace.
7.2 Estimateur des parametres d’une loi normale, X ∼N(µ, σ)
On suppose que X suit une loi normale de moyenne E(X) = µ et de variance V ar(X) = σ2.
43
7.2.1 Estimateur de µ
Definition 7.2.1. On appelle moyenne empirique de l’echantillon (X1, · · · , Xn) de X , la va-riable aleatoire
Xn :=1
n
n∑
i=1
Xi, (7.1)
sa realisation (qui est la moyenne de l’echantillon observe) est donnee par
xn =1
n
n∑
i=1
xi.
Proposition 7.2.2.
E(Xn) = µ, V (Xn) =1
nσ2.
Proposition 7.2.3. Xn est un estimateur efficace de µ.
Exemple 7.2.4. Montrer la proposition precedente.
7.2.2 Estimateurs de σ2
On distingue les cas ou µ est connue ou inconnue :
Cas ou µ est connue,Soit
T 2n :=
1
n
n∑
i=1
(Xi − µ)2, (7.2)
sa realisation (qui est la moyenne de l’echantillon observe) est donnee par
t2n =1
n
n∑
i=1
(xi − µ)2.
Proposition 7.2.5. T 2n est un estimateur efficace de σ2.
Exemple 7.2.6. Montrer la proposition precedente.
Cas ou µ est inconnue
Definition 7.2.7. On appelle variance empirique de l’echantillon (X1, · · · , Xn) de X , la sta-tistique
S2n =
1
n
n∑
i=1
(Xi − Xn)2, (7.3)
44
sa realisation est donnee par
s2n =1
n
n∑
i=1
(xi − xn)2.
Proposition 7.2.8.
E(S2n) =
n− 1
nσ2.
Exemple 7.2.9. Montrer la propriete precedente.
Proposition 7.2.10. S2n est un estimateur asymptotiquement sans biais de σ2.
PreuveCette Proposition se deduit de la propriete precedente.
Notation : on notera Sn :=√
S2n et sn :=
√
s2n.
Il y a un second estimateur que l’on peut egalement utiliser pour σ2, sa definition est donneepar
S2n =
n
n− 1S2n, (7.4)
cet estimateur est utilise en general si n est petit. On a alors le resultat suivant :
Proposition 7.2.11. S2n est un estimateur sans biais de σ2.
Ce resultat se deduit directement de la Propriete 7.2.8.
Notation : on notera Sn :=√
S2n et sn :=
√
nn−1
s2n.
7.3 Estimateur d’une proportion, X ∼ B(p)
Pour ce paragraphe on suppose que X suit une loi de Bernoulli de parametre p ainsi (Xi ∼B(p), ∀i ≤ n), le parametre a estimer est alors p. Le resultat est le suivant
Proposition 7.3.1. La moyenne empirique Xn, definie en 7.1 est un estimateur efficace de p.
Exemple 7.3.2. Montrer la proposition precedente.
7.4 Estimateur du maximum de vraisemblance
L’estimation par maximum de vraisemblance consiste a estimer un parametre inconnu µd’une loi donnee, par la valeur qui rend l’observation faite la plus probable. Dans la suite Ldesignera la densite ou la loi d’une serie d’observation X1, · · · , Xn. On supposera egalementque les observations sont independantes les unes des autres, ainsi pour tout x1, · · · , xn :
L(x1, x2, · · · , xn, µ) =n∏
i=1
f(xi, µ), (7.5)
45
pour les variables aleatoires a densite et
L(x1, x2, · · · , xn, µ) =n∏
i=1
Pµ(X = xi), (7.6)
pour les variables aleatoires discretes.
Definition 7.4.1. L’estimateur du maximum de vraisemblance du parametre µ dont dependla loi d’une observation est obtenu en resolvant :
∂ logL
∂µ= 0, avec
∂2 logL
∂µ2< 0. (7.7)
7.4.1 Loi normale
Soit X une v.a. suivant une loi normale N(µ, σ), (X1, X2, · · · , Xn) une suite d’observationsi.i.d. de meme loi que X , on a
Proposition 7.4.2. L’estimateur du maximum de vraisemblance de µ est donne par
Mµ =
∑ni=1Xi
n.
Exemple 7.4.3. Montrer la proposition.
7.4.2 Loi de poisson
Soit X une v.a. suivant une loi normale P (λ), (X1, X2, · · · , Xn) une suite d’observationsi.i.d. de meme loi que X , on a
Proposition 7.4.4. L’estimateur du maximum de vraisemblance de λ est donne par
Mλ =
∑ni=1Xi
n.
Exemple 7.4.5. Montrer la proposition.
7.4.3 Loi binomiale
Soit X une v.a. suivant une loi binomiale B(n, p), (X1, X2, · · · , Xn) une suite d’observationi.i.d. de meme loi, et X1 suivant une loi de Bernoulli de parametre p , on a
Proposition 7.4.6. L’estimateur du maximum de vraisemblance de p est donne par
Mp =
∑li=1Xi
n.
Exemple 7.4.7. Montrer la proposition.
46
Chapitre 8
Intervalles de confiance
Les estimateurs definis au chapitre precedent, peuvent servir a donner une estimation ponc-tuelle du parametre que l’on cherche a estimer. Il suffit pour cela de calculer une realisationde ces estimateurs. Cependant il n’est pas tres realiste de donner une unique valeur pour leparametre que l’on cherche a estimer. On va donc definir un intervalle de confiance. Dans cechapitre nous garderons les memes notations que dans le chapitre precedent.
Definition 8.0.8. On appelle Intervalle de confiance pour le parametre θ de niveau 1−α (oude seuil α), un intervalle qui a la probabilite 1− α de contenir la vraie valeur de θ.
En quelque sorte, I1−α est un intervalle de confiance (de niveau 1− α ) pour θ si
P (θ ∈ I1−α) = 1− α.
On peut deja faire la remarque suivante :
Remarque 8.0.9. Plus le niveau de confiance est eleve, plus la certitude est grande sur le faitque θ ∈ I1−α. Nous verrons qu’en contre-partie plus 1 − α s’approche de 1 plus l’intervalle deconfiance est grand, ce qui donne un resultat plus sur mais moins precis.
Nous allons maintenant donner des intervalles de confiance pour les parametres de certaineslois usuelles que l’on a vues dans le cours de probabilite. On utilisera l’abreviation I.C. pourintervalle de confiance.
8.1 Intervalle de confiance pour les parametres d’une loi
normale N(µ, σ)
8.1.1 Intervalle de confiance pour µ
On distingue plusieurs cas, suivant si n est grand ou petit et σ est connu ou pas.
Cas σ connuOn sait dans ce cas que Xn ∼ N(µ, σ/n) ou encore Z := Xn−µ
σ/√n
∼ N(µ, σ/n). On a alors le
resultat suivant :
47
Proposition 8.1.1. L’intervalle de confiance pour µ de niveau 1− α est donne par :
Iµ1−α =
[
xn − u1−α/2σ√n, xn + u1−α/2
σ√n
]
, (8.1)
ou u1−α/2 est l’unique reel qui verifie P [|Z| ≤ u1−α/2] = 1− α et xn une realisation de Xn.
On peut interpreter Iµ1−α de la facon suivante : avec une probabilite de 1− α, le parametreµ appartient a Iµ1−α. On notera tout de meme que Iµ1−α depend fortement de l’echantillonconsidere.PreuvePlutot qu’une preuve, nous detaillons seulement la facon dont est construit l’l.C. D’apres ladefinition de u1−α/2, on a :
P
[∣
∣
∣
∣
Xn − µ
σ/√n
∣
∣
∣
∣
≤ u1−α/2
]
= 1− α, (8.2)
cette derniere equation etant equivalente a la suivante :
P
[
Xn − u1−α/2σ√n≤ µ ≤ Xn + u1−α/2
σ√n
]
= 1− α,
ou encore a celle-ci :
P
[
µ ∈[
Xn − u1−α/2σ√n, Xn + u1−α/2
σ√n
]]
= 1− α.
On passe alors de l’intervalle aleatoire[
Xn − u1−α/2σ√n, Xn + u1−α/2
σ√n
]
a l’I.C donne par 8.13
en remplacant Xn par une realisation.
Cas σ inconnu, n petit
Dans ce cas le fait que Xn ∼ N(µ, σ/n) ne nous est d’aucune utilite puisque σ est inconnu. Oncommence donc par remplacer σ par un estimateur de σ, il s’agit dans notre cas (n petit) deSn donnee en 7.4. On sait alors d’apres les chapitres 6 et 7 que :
Z ′ :=Xn − µ
Sn/√n− 1
∼ stn−1, (8.3)
on obtient alors par le meme raisonnement que precedemment :
Proposition 8.1.2. L’intervalle de confiance pour µ de niveau 1− α est donne par :
Iµ1−α =
[
xn − stn−1(α)sn√n− 1
, xn + stn−1(α)sn√n− 1
]
, (8.4)
ou stn−1(α) est l’unique reel qui verifie P [|Z ′| ≤ stn−1(α)] = 1−α et xn une realisation de Xn.
48
Cas σ inconnu, n grand Si n est grand alors d’apres la Propriete 1.2.3 du chapitre 1, on peutse passer de la loi de Student et faire une approximation par la loi normale, on obtient alors
Proposition 8.1.3. L’intervalle de confiance pour µ de niveau 1− α est donne par :
Iµ1−α =
[
xn − u1−α/2sn√n, xn + u1−α/2
sn√n
]
, (8.5)
ou u1−α/2 est l’unique reel qui verifie P [|Z| ≤ u1−α/2] = 1− α et xn une realisation de Xn.
8.1.2 Intervalle de confiance pour σ2 et σ
On distingue 2 cas, suivant si µ est connue ou pas. Notons que dans la realite le cas ou µest connue est inexistant.Cas µ connue Pour donner un intervalle de confiance pour σ il faut un estimateur, µ etant
connu on utilise T 2n = 1
n
∑ni=1(Xi − µ)2 definie au chapitre 7. On sait d’apres le chapitre 1 que
Z ′′ :=nT 2
n
σ2∼ χ2
n. (8.6)
On a alors le resultat suivant :
Proposition 8.1.4. L’intervalle de confiance pour σ2 de niveau 1− α est donne par :
Iσ2
1−α =
[
nt2nkn(1− α/2)
,nt2n
kn(α/2)
]
, (8.7)
ou kn(1−α/2) est l’unique reel qui verifie P [Z ′′ ≤ kn(1−α/2)] = 1−α/2, kn(α/2) est l’uniquereel qui verifie P [Z ′′ ≤ kn(α/2)] = α/2 et t2n une realisation de T 2
n .
PreuveOn cherche un intervalle I ≡
[
nT 2n
kn(1−α/2), nT 2
n
kn(α/2)
]
, tel que
P(
σ2 ∈ I)
= 1− α. (8.8)
Par convention on resout l’equation precedente en resolvant :
P
(
σ2 ≤ nT 2n
kn(α/2)
)
= α/2, P
(
σ2 ≤ nT 2n
kn(1− α/2)
)
= 1− α/2, (8.9)
qui est equivalent a resoudre
P
(
nT 2n
σ2≤ kn(α/2)
)
= α/2, P
(
nT 2n
σ2≤ kn(1− α/2)
)
= 1− α/2. (8.10)
On determine alors kn(α/2) et kn(1− α/2) en utilisant 8.6
49
Cas µ inconnue Pour donner un intervalle de confiance pour σ il faut un estimateur, µ etant
connu on utilise S2n = 1
n
∑ni=1(Xi − Xn)
2 definie au chapitre 7. On sait d’apres les chapitres 6et 7 que
Z ′′′ :=nS2
n
σ2∼ χ2
n−1. (8.11)
On a alors le resultat suivant :
Proposition 8.1.5. L’intervalle de confiance pour σ2 de niveau 1− α est donne par :
Iσ2
1−α =
[
ns2nkn−1(1− α/2)
,ns2n
kn−1(α/2)
]
, (8.12)
ou kn−1(1− α/2) est l’unique reel qui verifie P [Z ′′′ ≤ kn−1(1− α/2)] = 1− α/2, kn−1(α/2) estl’unique reel qui verifie P [Z ′′′ ≤ kn−1(α/2)] = α/2 et t2n une realisation de T 2
n .
Pour obtenir cet intervalle de confiance on utilise la meme idee que dans la propositionprecedente et on se sert de 8.11.
8.2 Intervalle de confiance pour le parametre d’une loi
de Bernoulli B(p)
Dans cette section on suppose que Xi ∼ B(p). Pour l’intervalle de confiance suivant, il fautque les conditions de la Proposition (du cours de Probabilites) soient verifiees :
Proposition 8.2.1. Si n ≥ 100, np > 10 et n(1− p) > 10, alors l’intervalle de confiance pourp de niveau 1− α est donne par :
Ip1−α =
[
xn − u1−α/2
√
xn(1− xn)
n, xn + u1−α/2
√
xn(1− xn)
n
]
, (8.13)
ou u1−α/2 est l’unique reel qui verifie P [|Z| ≤ u1−α/2] = 1 − α et xn une realisation de Xn,(Z ∼ N(0, 1)).
PreuveLaissee en exercice.
50
![Quelques contributions à la statistique des Processus ...Annales de l’Institut Henri Poincar´e Probabilit´es et Statistiques, 42(4), 393–416, 2006. [H-D7] H. DJELLOUT and L](https://img.pdfslide.fr/doc/110x75/6129ff2bcd712527f54c4609/quelques-contributions-la-statistique-des-processus-annales-de-lainstitut.jpg)
