Maîtrise GEII

Notes de cours de théorie des signaux aléatoires

Emmanuel BOUTILLON

Septembre 2001

IUP de Lorient, Université de Bretagne Sud2, rue Le Coat St-Haouen, 56325 Lorient cedex

Tél. 02 97 88 05 50 – Fax. 02 97 88 05 51

1

2

Table des matières

Partie I : La notion de signal

Partie II : Théorie des probabilités

Partie III : Variables aléatoiresIII.1. Caractéristiques d’une v.a..............................................................................................4III.2. Principale v.a. en théorie du signal................................................................................5III.3. Loi des grands nombres .................................................................................................6III.4. Cas des v.a. bi-dimensionnelles.....................................................................................7III.5. Corrélation et covariance...............................................................................................8III.6. Loi gaussienne multi-dimensionnelle ............................................................................8

Partie IV : Processus aléatoiresIV.1. Autocorrélation, autocovariance et intercorrélation ....................................................10IV.2. Stationnarité et ergodicité............................................................................................11IV.3. Densité Spectrale de Puissance ...................................................................................12IV.4. Cas des suites aléatoires ..............................................................................................13IV.5. Bruit « blanc » .............................................................................................................13

Partie V : Le filtrage des p.a.V.1. Rappels .........................................................................................................................15V.2. Formule des moments...................................................................................................16V.3. Processus ARMA..........................................................................................................16

VI. Problèmes d’estimationsVI.1 Généralités....................................................................................................................17

Mesure d’une moyenne.....................................................................................................18Mesure de la puissance .....................................................................................................18

VI.2. Estimation paramétrique..............................................................................................18VI.3. Critère de Bayes ..........................................................................................................19VI.4. Critère de Neyman-Pearson.........................................................................................20

ANNEXE 1: Lois de probabilité

3

Avertissement : ce document comporte les définitions relatives à chaque partie du cours. Il nes’agit donc, en aucun cas, d’un document autonome.

Partie I : La notion de signal

Signal à temps continu : signal qui existe à chaque instant t∈ R : x(t)∈ R

Signal à temps discret : signal de la forme x(n), n∈ N

Signal déterministe : un signal est dit déterministe si ses valeurs peuvent être décrites de façonexacte par un modèle mathématique. Par définition, un signal déterministe ne contient aucuneinformation.

Signal aléatoire : Résultat d’une mesure physique qui, reproduites de façons apparemmentidentiques, donnent à chaque expérience des résultats qui semblent imprévisibles.

Partie II : Théorie des probabilités

Loi empirique des grands nombres : Considérons une expérience aléatoire ainsi qu’unévénement E lié à cette expérience. On suppose que l’expérience est répétée un nombrearbitraire de fois et l’on note N(E) le nombre de fois ou l’événement E est réalisé lors des Npremières répétitions. Alors, il existe un nombre p(E) unique tel que :

)()(lim EPNEN

N ==+∞→

Probabilité conditionnelle : La probabilité p(B/A) de B sachant que A est vrai s’exprime par :

)()()/(

APBAPABP ∩=

Si A et B sont indépendantes, P(B/A) = P(B) et )()()( BPAPBAP ×=∩

Soit Ω = A1 + A2 + …. + An une partition de Ω en n éléments avec p(Ai) >0, et B unévénement. On a les deux formules suivantes :

Formule de la probabilité totale :

4

∑ ∑= =

×=∩=n

i

n

iiii APABPABPBP

1 1)()/()()(

Formule de Bayes (probabilité des causes) :

∑=

×

×=

∩= n

jjj

iiii

APABP

APABPBP

BAPBAP

1)()/(

)()/()(

)()/(

Partie III : Variables aléatoires

On appelle variable aléatoire (v.a.) une grandeur dont la valeur dépend totalement ou en partiedu hasard.

III.1. Caractéristiques d’une v.a.

Fonction de répartition : on appelle fonction de répartition )(xFX de la v.a. X la fonctiondéfinie par :

)()( xXPxFX <=

Propriétés :

1)(lim0)(lim ==== +∞→−∞→ xFxF XxXx

Densité de probabilité : on appelle densité de probabilité px(x) la fonction définie par :

)()( xdx

dFxp XX =

Propriétés :

∫=−=≤≤b

aXXX dxxpaFbFbXaP )()()()(

Espérance mathématique :

∑ =×=i

ii xXPxXE )(][ (cas discret)

5

dxxpxXE X∫+∞

∞−

×= )(][ (cas continu)

Généralisation : Soit f(x) une fonction de R dans R, on définit :

∑ =×=i

ii xXPxfXfE )()()]([ (cas discret)

dxxpxfXfE X∫+∞

∞−

= )()()]([ (cas continu)

Si f(x) = xn, E[f(X)] est le moment d’ordre n de la v.a. X.

Moment d’ordre 2 : ][ 2XE est le moment d’ordre 2 du signal (sous réserve d’existence). Il estlié à la puissance du signal.

Variance : 222 ][][]])[[(][ XEXEXEXEXVAR −=−= est la variance de la v.a. X.

Ecart type : ][XVAR=σ est l’écart type de la v.a. X.

Théorème de la convergence presque sûre : Si E[X] = a et VAR[X] = 0, alors X = a presquesûrement.

III.2. Principale v.a. en théorie du signal

Distribution de Bernoulli : v.a. qui se réalise dans un ensemble à deux valeurs a, b.

101)()( <<−==== ppbXPpaXP

2)()1(][)1(][ bappXVARbpapXE −×−×=×−+×=

Distribution Binomiale : Probabilité d’avoir i tirage à 1 sur n réalisations d’une v.a. deBernoulli prenant les valeurs 1 avec la probabilité p et 0 avec la probabilité 1-p.

Nippni

CipnBP ini ∈−××== −)1()),(( avec )!(!

!ini

nni

C−×

=

6

)1()],([)],([ ppnpnBVARpnpnBE −××=×=

Distribution de poisson Xλ : (approximation de B(n,p) pour n >> p et pn ×=λ )

Niei

iXPi

∈== −λλ

λ!

)(

λλ λλ == ][][ XVARXE

Distribution uniforme : v.a. qui se réalise sur [a, b] avec une d.d.p. uniformément répartie.

abxpX −

= 1)( si bxa ≤≤ , 0 sinon

12)(][

2][

2baXVARbaXE −=+=

Distribution gaussienne : (loi normale N(m,σ) de moyenne m et d’écart type σ)

2

2

2)(

21)( σ

−−

σπ=

mx

X exp

2][][ σ== XVARmXE

-3 -2 -1 0 1 2 30

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

x

pX(x)

d.d.p. de la fonction gaussienne N(0,1)

III.3. Loi des grands nombres

7

Soit Xn, n∈ Nune suite de v.a. indépendantes de même loi, de moyenne finie µ=E[X] et devariance VAR[X]. On définit une nouvelle v.a. SN par :

N

XXXS N

N+++

=...21

On a les trois propriétés suivantes :

a) µ=+∞→ NN Slim

b) N

XVARSVAR N][][ =

c) ])[,0(lim XVARNSN NN =×+∞→

Généralisation : la somme d’un grand nombre de v.a. indépendantes quelconques tend versune v.a. gaussienne.

III.4. Cas des v.a. bi-dimensionnelles

Si X et Y sont deux v.a., alors le couple (X,Y) forme une v.a. bi-dimensionnelle caractériséepar sa fonction de répartition conjointe FX,Y, ou sa densité de probabilité pX,Y :

),(),(, yYxXPyxF YX <<=

),(),( ,

2

, yxFyx

yxp YXYX ∂∂∂=

Soit S est une surface du plan, on a :

∫=∈S

YX dxdyyxpSYXP ),()),(( ,

Densité de probabilités marginales : En intégrant la d.d.p PX,Y(x,y) par rapport à x,(respectivement y), on obtient la loi marginale pY(y) (respectivement pX(x)) :

∫+∞

∞−= dxyxpyP YXY ),()( ,

∫+∞

∞−= dyyxpyP YXX ),()( ,

Densité de probabilité conditionnelles : Par le théorème de Bayes, on obtient :

)()/()()/(),(, xpxypypyxpyxP XYYX ×=×=

8

Dans le cas ou X et Y sont statistiquement indépendantes, ces relations deviennent :

)()(),(, ypxpyxP YXYX ×= de plus )()/( xpyxp X= et )()/( ypxyp Y=

III.5. Corrélation et covariance

Pour un coupe (X,Y) de v.a., on peut également définir leur corrélation RX,Y, leur covarianceCX,Y et leur coefficient de corrélation rX,Y.

∫∫ ×== dxdyyxpxyXYER YXYX ),(][ ,,

∫∫ ×=−−= dxdyyxpxyYEYXEXEC YXYX ),(])][])([[( ,,

][][,

,YVARXVAR

Cr YX

YX×

=

Propriété : Si les variables X et Y sont indépendantes, alors leur covariance est nulle. Laréciproque est fausse.

Inégalité de Schartz :

][][][ 222 YEXEXYE ≤

Remarque : il y a égalité si X=a.Y

III.6. Loi gaussienne multi-dimensionnelle

Définition : Deux v.a. X1 et X2 sont dites conjointement gaussiennes si et seulement si leurdensité de probabilité s’écrit :

σ−

+σσ

−−ρ−

σ−

ρ−−

ρ−σπσ= 2

2

22

1

22112

1

211

2221

21,2

(2

))((2

2)(

)1(21exp

12

1),(21

mxmxmxmxxxP XX

On a de plus, pour i=1,2 :

ii mXE =][ 2][ iiXVAR σ= ρ=σσ

−−=

21

2211,

)])([( mXmXEr YX

Théorème : si X1 et X2 on une covariance nulle, les deux v.a. sont indépendantes.

Cas général : la v.a. X = [X1, X2,…, XN]T est gaussienne si et seulement si :

9

−−π

=−

2)()(

exp)()2(

1)(1 MXRMX

RDetXP

T

NX

avec M le vecteur moyenne M = [E[X1], E[X2],…, E[XN]]T et R la matrice decovariance définie par :

])][])([[(),( jjii XEXXEXEjiR −−=

Remarque : pour le cas bi-dimensionnelle, on a :

σσ×σ×ρσ×σ×ρσ= 2

221

212

1R

Les deux figures suivantes donnent les d.d.p. ainsi que le résultat du tirage de 2000 points dedeux v.a. X1 et X2 bi-dimensionnelle de matrice d’intercorrélation R1 et R2, avec :

=

198.098.01

1R

−

−=

15.05.01

2R

-3 -2 -1 0 1 2 3

-3

-2

-1

0

1

2

3

Tirage de 2000 points de X1

-3 -2 -1 0 1 2 3

-3

-2

-1

0

1

2

3

Tirage de 2000 points de X2

d.d.p. de X1 d.d.p. de X2

10

Partie IV : Processus aléatoires

On appelle processus aléatoire (p.a.) une famille de v.a. indexée par le temps. Il est noté X(t)dans le cas continu.

Dans le cas ou l’ensemble des indices est dénombrable, on parle de suite aléatoire (s.a.) et onla note (Xn) n∈ Z .

Dans le cas où les v.a. de la suite aléatoire sont discrètes, c’est-à-dire prennent leurs valeursdans un ensemble dénombrable de valeur réelles, on parle de s.a. discrète ou encore, de chaînealéatoire (c.a.).

IV.1. Autocorrélation, autocovariance et intercorrélation

Définition de l’intercorrélation : Soit X1 et X2 deux p.a., on appelle fonction d’intercorrélation),( 2121

ttR XX la fonction qui à un couple d’instant (t1, t2) associe la corrélation entre les deuxv.a. )( 11 tX et )( 22 tX

∫∫ ××==2

2121 21212121221121 ),,,()]()([),(R

XXXX dxdxttxxpxxtXtXEttR

avec ),,,( 212121ttxxp XX la d.d.p. de la v.a. bi-dimensionnelle ))(),(( 2211 tXtX .

Définition de l’autocorrélation : Dans le cas ou X = X1 = X2, )]()([),( 2121 tXtXEttRXX = senomme l’autocorrélation de X.

Remarque : On a ])([),( 2111 tXEttRXX = qui est égal au moment d’ordre deux de la v.a.

)( 1tX . Il s’agit donc de la puissance du signal à l’instant t1.

Définition de l’autocovariance : Il s’agit de la fonction d’autocorrélation du p.a. centrés Xc

définit par :

)]([)()( tXEtXtX c −=

On la note ),( 21 ttC XX :

11

)])]([)(()])([)([(),(),( 221112121 tXEtXtXEtXEttRttC cc XXXX −×−==

Remarque 1: ))((),( 111 tXVARttC XX =

Remarque 2: En règle générale, si 21 ttt −=∆ est grand, )( 1tX et )( 2tX deviennentindépendantes l’une de l’autre. On a alors : 0),( 11 →∆+ tttCXX quand +∞→∆t .

IV.2. Stationnarité et ergodicité

Définition de la stationnarité : un p.a. est dit stationnaire lorsque ses propriétés statistiquessont indépendantes de l’origine des temps.

Si le p.a. est stationnaire, on a les propriétés suivantes :)(),()( xptxp XtX =

][)]([ XEtXE = (la moyenne est constante)][)]([ XVARtXVAR = (la variance est constante)

En posant τ = t2-t1

)(),( 21 τ= XXXX CttC)(),( 21 τ= XXXX RttR

)(),(2121 21 τ= XXXX RttR

On parle de p.a. stationnaire au second ordre si seul les moments du premier et du deuxièmeordre sont indépendants de l’origine des temps.

Définition de l’ergodicité : un p.a. stationnaire est dit ergodique si ses moments temporels(calculés à partir d’une réalisation du p.a.) sont égaux aux moments statistiques (calculé àpartir de la moyenne sur l’ensemble des réalisations possibles).

Soit X un p.a. stationnaire et ergodique et x(t) une réalisation quelconque de ce p.a., on aalors :

∫+

−+∞→==

T

TT dttx

TXEtXE )(

21lim][)]([

∫+

−+∞→ −==

T

TT dtXEtx

TXVARtXVAR 2])[)((

21lim][)]([

∫+

−+∞→ τ+×=τ

T

TTXX dttxtx

TR )()(

21lim][

12

∫+

−+∞→ τ+×=τ

T

TTXX dttxtx

TR )()(

21lim][ 2121

Tout comme la stationnarité, on peut définir différents niveaux d’ergodicités : niveau absolu(vrai pour tous les moments), ordre 2 (vrai uniquement pour les deux premiers moments).

Remarque : la stationnarité n’entraîne pas nécessairement l’ergodicité.

IV.3. Densité Spectrale de Puissance

Soit X un p.a. stationnaire et xi(t) une réalisation de X. La transformée de Fourrier de xi(t)n’existe pas en général car la condition de convergence (carré intégrable) n’est pas satisfaite.

Par contre, il est possible de définir la Transformée de Fourrier (T.F.) de la fonction xi(t,T)définie par :

xi(t,T) = xi(t) si |t| < T/2, xi(t,T) = 0 sinon.

On a :

∫∫+

−

π−+∞

∞−

π− ===2/

2/

22 )(),()),((),(T

T

jfti

jftiii dtetxdteTtxTtxTFTfX

La puissance moyenne )(TPix du signal contenu dans l’intervalle [-T/2, T/2] est donnée par :

∫∫∫+∞

∞−

+∞

∞−

+∞

∞−

=== dfT

TfXdfTfX

TdtTtx

TTfP i

iixi

222 ),(

),(1),(1),(

On pose T

TfXTfS i

i

xx

2),(),( = , on a alors :

∫+∞

∞−

= dfTfSTfPii xx ),(),(

La puissance du signal est égale à l’intégrale, sur toutes les fréquences de la fonction),( TfS

ix . Cette fonction est appelée « périodigramme ». Ce périodiagramme est une grandeuraléatoire puisqu’en principe différente pour chaque réalisation xi(t,T) du p.a. X.

On peut en définir l’espérance pour chaque fréquence :

)],([),( TfSETfSixX =

La densité spectrale de puissance (d.s.p.) du p.a. X(t) est donnée par le passage à la limite :

13

]),(

[lim),(lim)(2

TTfX

ETfSfS iTXTX +∞→+∞→ ==

Théorème de Wienner_Khintchine : la d.s.p. )( fS X d’un p.a. stationnaire est la transforméede Fourrier de sa fonction d’autocorrélation )(τXXR .

∫+∞

∞−

τπ− ττ= deRfS fjXXX

2)()(

Propriétés de la d.s.p. SX(f) et de la fonction d’autocorrélation RXX(τ).

Si X(t) est réel, RXX(τ) = RXX(-τ) et SX(f) est paire.

Puissance : RXX(0) = E[X(t)2]

Pour tout τ, on a : )0()( XXXX RR ≤τ (inégalité de Schwartz).

2)(lim XX mR =τ+∞→τ

IV.4. Cas des suites aléatoires

Dans le cas d’une suite aléatoire Xn, on a les mêmes propriétés avec :

τ+=τ ∑

+∞

−∞=nXX nxnxER )()()(

τ= ∑

+∞

−∞=τ

τπ− fjXX eREfS 2)()(

∫−

τπ=τ5,0

5,0

2)()( dfefSR fjXXX

)( fS X est une fonction périodique de période 1.

On a la puissance du signal exprimé par :

∫∑−

∞+

−∞==

=

5,0

5,0

2 )()()0( dffSnxER Xn

XX

IV.5. Bruit « blanc »

Le bruit blanc est un p.a. stationnaire du second ordre dont la d.s.p. est constante sur tout l’axedes fréquences.

14

fN

fS B ∀=2

)( 0

La fonction d’autocorrélation s’écrit alors :

)(2

)( 0 τδ=τN

RBB

Attention : l’énergie d’un vrai bruit blanc est infinie.

Les figures suivantes montrent un exemple de réalisation d’un bruit blanc gaussien (discret).

0 50 100 150 200 250 300-3

-2

-1

0

1

2

3

4

Réalisation d’un bruit blanc gaussien de loiN(0,1).

Abscisse : n° échantillon d’indice n.Ordonnée : valeur de l’échantillon x(n).

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.50

1

2

3

4

5

6

7

fréquence

Périodigramme du bruit blanc gaussien.Abscisse : fréquence normalisée fOrdonnée : Valeur de la puissance du signal

)1000,( fX i pour la fréquence f.

En effectuant la moyenne des )1000,( fX i surun grand nombre de réalisation, la fonctiondevient constante et égale à 1.

0 50 100 150 200 250 300-0.2

0

0.2

0.4

0.6

0.8

1

1.2

tau

Autocorrélation calculé sur la réalisation :Abscisse : τOrdonnée :

)1000mod()(1000

1 1000

1∑=

τ+i

ixix

En effectuant la moyenne des autocorrélationsur un grand nombre de réalisations, lafonction devient égale à 1 si τ=0, 0 sinon.

15

En pratique, on considère le bruit blanc comme un p.a. dont la d.s.p. n’est constante que dansune bande de fréquence donnée (ce qui est le cas des signaux physiques).

Premier cas (passe bas) : ],[2

)( 0 BBfsiN

fS B −∈= , 0 sinon

La puissance du signal est alors N0B, la fonction d’autocorrélation s’exprime par :

ττ=τ

BBBNRBB 2

)2sin()( 0

Deuxième cas (passe bande) :

]2

,2

[]2

,2

[2

)( 00000 BfBfBfBffsi

NfS B +−∪+−−−∈= , 0 sinon.

La puissance du signal est toujours N0B et la fonction d’autocorrélation s’exprime maintenantpar :

)2cos(2

)2sin()( 00 τπτ

τ=τ fB

BBNRBB

Partie V : Le filtrage des p.a.

Le filtrage est une opération très courante dans les applications de traitement du signal. Sonbut est d’isoler la partie utile du signal.

V.1. Rappels

Par définition, un filtre linéaire est un système dont les entrées sorties sont régies par uneéquation différentielle linéaire indépendante du temps. Le filtre linéaire se caractérise par saréponse impulsionnelle h(t).

Soit x(t) l’entrée du filtre et y(t) sa sortie, on a :

∫+∞

∞−

−== duutxuhtxthty )()()(*)()(

Soit X(f), H(f) et Y(f) les transformées de Fourrier de x(t), h(t) et y(t). On a la relationsuivante :

)()()( fXfHfY ×=

16

V.2. Formule des moments

On considère un p.a. X(t) stationnaire au 2ième ordre de moyenne E[X(t)]=mx. Ce signal estappliqué à l’entrée d’un filtre linéaire de réponse impulsionnelle h(t) et soit Y(t) le p.a. obtenuen sortie du filtre.

a) Moment du premier et deuxième ordres

On a Y(t) stationnaire au second ordre qui vérifie les propriétés suivantes :

XY mHmtYE ×== )0()]([)(*)()( ττ=τ XXXY RhR

)(*)(*)()( ττ−τ=τ XXYY RhhR

)()()()()()( 2* fSfHfSfHfHfS XXY ×=××=

Rappel : dans le cas discret, les formules sont les mêmes avec :

∑+∞

−∞=

π−=n

jnfenhfH 2)()(

∑+∞

−∞=

π−=n

jnfXY enRfS 2)()(

b) Formule des interférences

Si on considère deux p.a. X1(t) et X2(t) stationnaire entrant dans deux filtres linéaires deréponse impulsionnelle h1(t) et h2(t), on peut définir l’interspectre )(

21fS XX comme la

transformé de Fourrier de la fonction d’intercorrélation )(21

τXXR . La formule desinterférences donne :

)()()()(2121

*21 fSfHfHfS XXYY ××=

c) Puissance de sortie d’un filtre linéaire

A partir de la formule de filtrage des d.s.p., on peut calculer la puissance en sortie du filtre :

∫∫+∞

∞−

+∞

∞−

×=== dffSfHdffSRP XYYYY )()()()0( 2

V.3. Processus ARMA

Question : comment générer un p.a. ayant une d.s.p. donnée ?Réponse (Monsieur Yule, 1927) : utiliser un filtre linéaire excité par un bruit blanc.

17

W(t) bruit blanc => 2

)( 0NfSW =

La sortie X(t) du filtre de réponse impulsionnelle h(t) excité par W(t) à donc une d.s.p quivérifie :

20 )(2

)( fHN

fS X =

a) Définitions

Si le filtre ne contient que des pôles, le p.a. X(t) généré est dit Auto-Régressif (AR). Si le filtre ne contient que des zéros, le p.a. X(t) généré est dit Moyenne Mobile ou MA(Motion Average).Si le filtre contient des pôles et des zéros, le p.a. X(t) généré est dit ARMA.

Dans la suite de ce chapitre, on ne considère plus que des filtres discrets. Pour ces filtres, ona :

20

2)( WW

NfS σ== , avec 2

Wσ la variance de W(t).

VI. Problèmes d’estimations

Le problème abordé dans ce chapitre concerne l’estimation d’un paramètre inconnu d’unsignal aléatoire à partir d’une observation de durée finie. Les outils utilisés pour quantifier laqualité de l’estimation sont aussi abordés.

VI.1 Généralités

Soit X une suite aléatoire, considérons θ un paramètre (ou une grandeur) inconnu associé àcette suite. On suppose que l’on connaisse N valeurs successives x(1), x(2), …, x(N) d’uneréalisation de X et l’on cherche à estimer θ par un estimateur θ

) construit à partir de

l’observation de X : ))(),...,2(),1(( NxxxF=θ)

.On peut noter que θ

) est une v.a.

Définitions : On appelle θb biais de l’estimateur la quantité :

θ−θ=θ ][)

EbOn appelle erreur quadratique moyenne (eqmθ) la quantité :

22 )var(])[( θθ +θ=θ−θ= bEeqm))

On appelle erreur relative la quantité (sans dimension) :

18

θ=ξ θeqm

r

Bien sur, le meilleur estimateur est celui qui a un biais nul et une erreur quadratique moyenneminimale (ou erreur relative minimale).

Mesure d’une moyenne

On cherche à estimer la valeur moyenne mX d’un p.a. La méthode la plus naturelle consiste àprendre l’estimateur :

∑=

=N

kkx

NM

1)(1)

On a XmME =][)

soit bM =0, l’estimateur est sans biais.

Déterminons l’e.q.m. en remarquant que M)

est le résultat du filtrage de X par un filtre deréponse impulsionnelle :

Nkh 1)( = si Nk ≤≤1 , 0 sinon.

On obtient :

)()1(1 kRNk

Neqm XX

Nk

NkM −= ∑

=

−=Remarque : la qualité de cet estimateur dépend de la fonction d’autocorrélation de X. Danscertain cas, il existe d’autres estimateurs qui peuvent-être plus précis.

Mesure de la puissance

L’estimateur le plus naturel est :2

1)(1)0( kx

NR

Nk

kX ∑

=

==

)

C’est un estimateur sans biais. Son erreur quadratique moyenne est donnée par :22

)0( )()1(1 kRNk

Neqm XX

Nk

NkRX

−= ∑=

−=

)

VI.2. Estimation paramétrique

C’est le cas ou le p.a. observé dépend d’un paramètre θ inconnu.

Exemple : Observation de X(k) = θ + W(k), θ paramètre à estimer et W(k) un bruit blancgaussien centré de variance σ2.

On définit la loi de probabilité :

2

2

2))((

1, 2

1)/)(),...,2(),1(( σθ−−

=θ ∏ ⋅

πσ=θ=

ixN

iXX eNxxxpp rr

19

Pour une observation ))(),...,1(( NxxX o =r

fixée, on a )(, oX Xpv

rθ qui est une fonction de θ.

Cette fonction est appelée fonction de vraisemblance. Le meilleur estimateur de θ est celui quimaximise la fonction de vraisemblance (c-a-d, rend l’observation la moins improbable).En pratique, on choisit de prendre le logarithme de cette fonction en omettant les termesindépendants de θ.

∑=

θ σθ−−=+=θ

N

iOX

ixCteXpXL1

2

2

, 2))(())(log(),(

rrr

La meilleur estimation θ* de θ est donc tel que :θ∀θ≥θ ),,(),( * XLXL

rr

Solution : <=>=θ∂

θ∂ 0),(XLr

∑=

=θN

iix

N 1

* )(1

Remarque : on retrouve l’estimation de la moyenne.

Cette méthode, très générale, s’adapte à différents problèmes.

VI.3. Critère de Bayes

Reprenons le problème précédent en supposant cette fois-ci une hypothèse supplémentaire : θne peut prendre que deux valeurs θ0 et θ1, de plus, les probabilités a priori )( ii p θ=θ=πsont connues.

Le critère de Bayes permet de choisir θ minimisant la probabilité d’erreur en tenant comptedes probabilités a priori πi.On a :

00000 )/()()/(),( π×θ=θ=θ×θ=θ ooo XppXpXprrr

11111 )/()()/(),( π×θ=θ=θ×θ=θ ooo XppXpXprrr

Si ),(),( 01 θ≥θ oo XpXprr

, alors θ1 est choisi. Dans le cas contraire, θ0 est choisi.

Afin de systématiser la décision, il est possible d’effectuer une partition de RN (l’espace danslequel oX

r se réalise) en deux régions de décisions ∆0 et ∆1 tel que :

0∆∈∀ oXr

, ),(),( 10 θ≥θ oo XpXprr

(choix de θ0)

1∆∈∀ oXr

, ),(),( 01 θ≥θ oo XpXprr

(choix de θ1)

Exemple : si π0 = π1 = 0,5 et N=1, on a :

θ+θ

≥∈=

πσ×π≥

πσ×π∈=∆ σ

θ−−σ

θ−−

2/

21

21/ 102

))((

12

))((

012

20

2

21

xRxeeRxixix

20

La probabilité d’erreur est donnée par :

)/(21)/(

21

1001 θ∆∈+θ∆∈= xpxppe

Soit :

)( 01σ

θ−θ= Qpe , avec dtexQ t

x

2/2

21)( −

+∞

∫ π=

Cette technique est utilisée pour les communications numériques.

Cet exemple se généralise sans difficultés.

VI.4. Critère de Neyman-Pearson

On considère maintenant le choix de deux hypothèses θ0 (absence de signal) et θ1 (présenced’un signal, écho radar, par exemple) et l’on s’intéresse aux probabilités Pα (probabilité defausse alarme) de détecter θ1 alors que θ0 est vrai et Qd (probabilité de détection), laprobabilité de détecter θ1 justement.

On suppose connues les lois )/()( 00 θ= xpxp rr et )/()( 11 θ= xpxp rr .

Soient ∆0 et ∆1 les deux zones de décisions associées aux hypothèses θ0 et θ1. On a donc :xdxpP rr)(0

1

∫∆

α = et xdxpQdrr)(1

1

∫∆

=

Ces deux probabilités dépendent du choix de la partition.

Question : Comment maximiser Qd tout en gardant une probabilité de fausse alarme inférieureou égales à un seuil α0 prédéfini ?

On montre (critère de Neyman-Pearson) que la partition (∆0, ∆1) est optimale, si etseulement si :

η≤=∆∈∀)()(

)(,0

10 xp

xpxLx r

rr

avec η tel que :

00 )(1

α== ∫∆

α xdxpP rr

21

ANNEXE 1: Lois de probabilité

Loi gaussienne

x N(0,1)(x) ∫−

x

x

dttN ))(1,0( ∫+∞

x

dttN ))(1,0(

0 0,399 0,00% 50,00%0,2 0,391 15,85% 42,07%0,4 0,368 31,08% 34,46%0,6 0,333 45,15% 27,43%0,8 0,290 57,63% 21,19%1 0,242 68,27% 15,87%

1,2 0,194 76,99% 11,51%1,4 0,150 83,85% 8,08%1,6 0,111 89,04% 5,48%1,8 0,079 92,81% 3,59%2 0,054 95,45% 2,28%

2,2 0,035 97,22% 1,39%2,4 0,022 98,36% 0,82%2,6 0,014 99,07% 0,47%2,8 0,008 99,49% 0,26%3 0,004 99,73% 0,13%

Loi de poisson pour différentes valeurs de λ.

x λ=0,5 λ=1 λ=20 60,65% 36,79% 13,53%1 30,33% 36,79% 27,07%2 7,58% 18,39% 27,07%3 1,26% 6,13% 18,04%4 0,16% 1,53% 9,02%5 0,02% 0,31% 3,61%6 0,00% 0,05% 1,20%7 0,00% 0,01% 0,34%8 0,00% 0,00% 0,09%9 0,00% 0,00% 0,02%