56
Traitement du Signal Avancé Signaux aléatoires Traitements adaptatifs Transmissions numériques Master Université de La Rochelle Michel MENARD Université de La Rochelle Pôle Science et Technologie Michel Ménard

Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Embed Size (px)

Citation preview

Page 1: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Traitement du Signal Avancé

Signaux aléatoiresTraitements adaptatifs

Transmissions numériques

MasterUniversité de La Rochelle

Michel MENARD

Université de La RochellePôle Science et Technologie

Michel Ménard

Page 2: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Traitement du Signal Avancé

Université de La RochellePôle Science et Technologie

1. Objectif applicatif du cours.2. Définition physique d’un signal.

3. Processus aléatoire.4. Variable aléatoire.5. Signal aléatoire.

6. Densité de probabilité.7. Moments8. Stationnarité9. Ergodisme

10. Ergodisme et Stationnarité en pratique11. Estimation d’une ddp.12. Exercice de programmation

Introduction

Les « objets » manipulés

Quelques propriétés

Un peu de pratique...

Signaux aléatoires. Partie 1.

Page 3: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Université de La RochellePôle Science et Technologie

DémodulationDémodulationDécodage deDécodage de

canalcanalDécodage deDécodage de

sourcesource

Canal de transmissionCanal de transmission

Codage deCodage decanalcanal

ModulationModulationCodage deCodage de

sourcesource

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

(1/8)

Page 4: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Université de La RochellePôle Science et Technologie

DémodulationDémodulationDécodage deDécodage de

canalcanalDécodage deDécodage de

sourcesource

Canal de transmissionCanal de transmission

Codage deCodage decanalcanal

ModulationModulationCodage deCodage de

sourcesource

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

(1/8)

Réduction de laredondance

Protection contreles erreurs

Donner une existencephysique à l’information

Bruit - distorsion

Transmission la plus fidèle possible,la plus rapide.

données les - significativesen terme de perception visuelle

Page 5: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

DémodulationDémodulation Décodage deDécodage decanalcanal

Décodage deDécodage desourcesource

Canal de transmissionCanal de transmission

Codage deCodage decanalcanal

ModulationModulationCodage deCodage de

sourcesource

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

Simulation du canal dispersifbruité

Modulations : MDA, MDF,…Transmission en bande debase

Image ou signalbruité(e), compressé(e)...

Traitements adaptatifs:égalisation du canal,annulation d ’écho,détection,...

Pertinence des codages vis à vis de la transmission.Compression,...

Image reçue, post-traitement

(2/8)

Page 6: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

ObjectifObjectif applicatif applicatif du cours : du cours :Quelques questions et mots clefsQuelques questions et mots clefs

(3/8)

…liées à l’application ...d’ordre plus générale

Comment peut-on simuler une chaînede transmission, un canal dispersif bruité,…?

Comment simuler des données d’entrée« pertinentes », un bruit, une image « réaliste »?Quels sont les caractéristiques et les traitements des signaux aléatoires?

Comment évaluer la pertinence desdifférents codages utilisés dans une chaîne de transmission ?Quels outils de compression / modul. ?Comment évaluer la qualité de latransmission d’une image ?

Comment évaluer la pertinence d’un traitement?

Comment évaluer une chaîne de traitements?

Compression, ondelette,... Analyse temps échelle, temps fréquence,...

Annulation d’écho, égalisation,… Traitements adaptatifs,...Modulation Domaine temporel, fréquentiel, DSP,

corrélation,...

Page 7: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

Simulations : - de processus aléatoires de ddp spécifiée : variable aléatoire, signal aléatoire ddp, fonction de répartition, moments, stationnarité, ergodisme, transformation d’une VA et jacobien, estimation,…

Analyses et traitements temporels : - convolution, corrélation, filtrage adaptatif, moindres carrés, modulation, codage, algorithme du gradient, des moindres carrés récursifs,...

Analyses et traitements fréquentiels - Densité spectrale de puissance, théorème de Wiener-Khintchine, compression. Modulation MAQ, diagramme de l’œil,...

Les outils du traitement du signal à notre dispositionLes outils du traitement du signal à notre disposition

(4/8)

Page 8: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

Travaux pratiques 1Travaux pratiques 1

Simulation d’un PA de densité uniforme,spécifiée, gaussienne, markovienne,SBPA.

Deux applications :- estimation de la réponse impulsionnelle d’un système linéaire.

- modélisation d’images bruitées.

(5/8)

Page 9: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

Travaux pratiques 2Travaux pratiques 2

Le filtrage adaptatif : l’algorithme dugradient (LMS) et l’algorithme des Moindres Carrés Récursifs (RLS)

Trois applications :- téléphone main libre- élimination de l’écho sur une ligne de transmission - élimination du bruit dans une conduite

+

Bruit moteur

pk

xy

Conduite

Ventilateur

Micro1 Micro2

HP de contre bruit

Filtre adaptatif

x(t)

e(t)

y(t)

xr(t)

(6/8)

d’aération : onde acoustique qui se propage (résonance)

Page 10: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

Travaux pratiques 3Travaux pratiques 3

Transmission numérique : simulation d’unetransmission en bande de base, simulation et égalisation d’un canal, détection en bande debase, modulation numérique

Emetteurbinaire

Retard

Canal dispersif

Bruit blanc gaussiencentré

Filtreégaliseuradaptatife(t)

er(t)

s(t) sb(t)

b(t)

yf(t)

(7/8)

Page 11: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

ObjectifObjectif applicatif applicatif du cours : du cours :transmission numérique d’une image sur un canaltransmission numérique d’une image sur un canal

Travaux pratiques 4Travaux pratiques 4

Mise en place d’une chaîne complète detransmission d’images : construction dutrain binaire, transcodage et mise sur porteuse,simulation du canal, démodulation et filtrage,récupération et reconstruction de l’image.

Données (image+brouillage) synchrosynchrodonnées données

900

540 60 120120 60

L’image à transmettre

18

30

(8/8)

Page 12: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Définition physique d’un signal

Université de La RochellePôle Science et Technologie

Un signal est en général une fonctiond’un ou plusieurs paramètres servantde support à la transmission d’unecommande ou d’une information.

paramètres

temps, espace,...

continudiscret,...

continuesdiscrètes...valeurs

scalaires, vectorielles...

déterministes, aléatoires

(1/4)

Page 13: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Définition physique d’un signal

Université de La RochellePôle Science et Technologie

Nous communiquons par le biais mêmedes signaux, qu’ils soient sonores ouvisuels.

paramètre

temps, espace,...

continudiscret,...

continuediscrète...valeurs

scalaire, vectorielle...déterministe, aléatoire...

(2/4)

Page 14: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Définition physique d’un signal (3/4)

Source : école polytechnique fédérale de Lausanne

Page 15: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Définition physique d’un signal (4/4)

Page 16: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus aléatoire (1/3)

Introduction

* tout signal physique comporte une composante aléatoire:

ê perturbation externe (ou "bruit").

ex: agitation thermique → tension aléatoire aux bornes d'une résistance

perturbation atmosphérique → fluctuations de la brillance des étoiles

ê signal issus d'un système très complexe

ex: jet de dés, processus biologique, météorologie, ...

ê processus quantique

ex: signal délivré par un détecteur Geiger

* l'évolution du signal est imprévisible

* possibilité d’une description statistique et fréquentielle du signal

Page 17: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus aléatoire (2/3)

* un phénomène / processus est dit aléatoire lorsqu'il dépend d'une certaine manière des

lois du hasard.

* les signaux produits par un processus aléatoire ne possèdent pas de représentations

temporelles analytiques.

* un signal aléatoire observé peut être considéré comme une réalisation particulière

d'un ensemble de signaux similaires qui sont tous susceptibles d'être produits par le

même processus aléatoire.

* Seuls les signaux ayant un caractère aléatoire peuvent transmettre de l’information

(axiome de base de la théorie de l ’information).

Définitions

Page 18: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus aléatoire (2/3)

Comment modéliser mathématiquement un processus aléatoire

dont les réalisations sont / peuvent être différentes ?

Page 19: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus aléatoire

Mathématiquement, un processus aléatoire peut être défini comme unefamille de fonctions réelles ou complexes à deux variables notée :

),(),(

ωω

nXtX

variable non probabiliste. ex : temps

variable probabiliste se réalisant dansun espace d’épreuve*

En théorie du signal, la variable u représente usuellement le temps.

temps à valeurs discrètes (suite discrète ou processusponctuel)

),( ωuXdénote la nature aléatoire du processus« intervention du hasard »

*Espace des épreuves : ensemble des résultats possibles d’une expérience statistique; Selon que cette variable est continue ou discrète, on parle de PA continue ou discret.

(3/3)

Page 20: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Variable aléatoire

Une variable aléatoire permet d’associer à tout événement élémentaireω un nombre réel X(ω). Ceci permet de traduire une observation par un nombre réel.

(1/5)

Expérience aléatoire

Observation

Nombre réel ou complexe ou...

ω

VA : X(ω)

Événement : « Mesure de la face visible de la pièce »ex : « Pile »

),,( PBΩ

Une VA est une fonction X définiede l ’espace des épreuves Ω dans R.

Ex : « Pile » |-> 1

)(ωω XR

Xa→Ω

Espace des épreuves

Ω∈ω

Aléatoire à travers la notion d ’expérienceet de fréquence

Tirage aléatoire d’une piècePhénomène physique

Page 21: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Fonction/variable aléatoire

Une fonction aléatoire est une fonction d’une variable représentant uneépreuve (résultat d’une mesure) dans un espace probabiliste .

ω),,( PBΩ

Espace des épreuvesΩ

)(Ω= PB Ensemble des parties de Ω

P Mesure sur … ),( BΩ

…vérifiant les axiomes de Kolmogorov

UI∞

=

=≠∑==∈∈∀

+=∪=∩∈∀=Ω

0i 0i

jijii )()AP(,AA que tels,,A

P(B)P(A)B)P(A, BA que tels,,1)(

iiAPNiB

BBAP

0

0

(2/5)

Page 22: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Fonction/variable aléatoire

Une fonction aléatoire est une fonction d’une variable représentant uneépreuve (résultat d’une mesure) dans un espace probabiliste .

ω),,( PBΩ

Espace des épreuvesΩ

)(Ω= PB Ensemble des parties de Ω

P Mesure sur … ),( BΩ

…vérifiant les axiomes de Kolmogorov

'6','5','4','3','2','1'=Ω

'6','5','4','1'

,'5','3','2':ex

,...'5','1','3','2','1':exemples

NN

AP AN ∞→= lim)(

apparitiond' Fréquence

P(B)B),P(AP(A/B)

elleconditionn éprobabilit la de axiome

=

La probabilité d’un événement s’interprètephysiquement comme la fréquence d ’apparition de cet évènement.

(3/5)

51...3...21)(: += ouXexemples ω

2'6','5','4','3','2','1'=Ωou

Page 23: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Fonction/variable aléatoire

Une fonction aléatoire est une fonction d’une variable représentant uneépreuve (résultat d’une mesure) dans un espace probabiliste .

ω),,( PBΩ

Espace des épreuvesΩ

)(Ω= PB Ensemble des parties de Ω

P Mesure sur … ),( BΩ

facepile,=Ω

fpfp ,,,

facepile ,

)(ωX )0,1 :(ex scalaire )f( si ωKcorps

général) (casK sur vectorielespace

1

0Ex : tirages aléatoiresd’une pièce de monnaie

Pile

Face

(4/5)

nfacepile,=Ω

Page 24: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Fonction/variable aléatoire

La différence majeure avec une fonction déterministe est son aspect non prédictible et on est donc obligé de décrire ses évolutions par des

« comportements d’ensemble»

La loi d’évolution ou loi de probabilité va déterminer le type de fonction aléatoire auquel on est confronté. .

1

0

Le lancement d’une pièce de monnaie est modélisé parun tirage aléatoire suivant une loi de Bernoulli.

Pile

Facetirages aléatoires

(5/5)

)(ωX

Autres:Processus GaussienProcessus de PoissonProcessus de Markov

Page 25: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Signal aléatoire

Pour chaque réalisation , le processus se réduit à un membre donné de l’ensemble des fonctions possibles : signal aléatoire.

tt1 t2

),( ωtX

3ωtrajectoire

Réalisations d’une variable aléatoire

1ωaléatoire variable),( 1 ≡ωtX

aléatoire signal ),( 2 ≡ωtX

Processus aléatoire : ),(),( ωω tXtX ≡

iω ),( ωtX

)(),( tXtX i ≡ω Signal à puissance moyenne finie

On mesurera la valeur moyenne temporelle, la valeur quadratique moyenne : dttXfT

tXfT

TT ∫

−∞→=

2/

2/

)]([1

lim)]([

Page 26: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Variable aléatoire

A chaque instant ti , le processus se réduit à une simple variable aléatoire :

tt1 t2

),( ωtX

3ωtrajectoire

Réalisations d’une variable aléatoire

1ωaléatoire variable),( 1 ≡ωtX

aléatoire signal ),( 2 ≡ωtX

Processus aléatoire : ),(),( ωω tXtX ≡

),( ωtX

iii XtXtX ≡≡ )(),( ω Fonction de répartition / densité de probabilité

On mesurera les moyennes statistiques=espérances mathématiques : dxxpxfXfE X∫+∞

∞−

= )()()]([

Page 27: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus, Signal et Variable aléatoire

X(t,ω)

tt1 t2 t3

pX(ω,t1) pX(ω,t2) pX(ω,t3)

X(t,ω1)=X1(t)

X(t,ω2)=X2(t)

SA

VA

(1/3)

Page 28: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus, Signal et Variable aléatoire

Processus de Bernoulli : lancement de pièces.

PA : Mesures effectuées sur une pièce et sur plusieurs lancés (‘ F ’=0;‘ P ’=1).SA : Pièce numéro 1. X(t,ω1)=X1(t) : résultats des différents lancés.VA : Résultats du tème lancé sur l’ensemble (une infinité) de pièces.Processus aléatoire en temps et espace discret (2 états);Les états du processus de Bernoulli à différents instants sont indépendants.

Processus de Bernoulli : temps sec (0) ou humide (1) en un lieu géographique.

PA : Mesures effectuées par un capteur et sur une certaine périodeSA : Capteur 1. X(t,ω1)=X1(t) : résultat de la mesure en fonction du jour.VA : Les différents (infinité) capteurs. Résultats des mesures à une date donnée.Processus aléatoire en temps (continu) et espace discret (2 états)Les états du processus de Bernoulli à différents instants ne sont pas indépendants.

(2/3)

Page 29: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Processus, Signal et Variable aléatoire

Marche aléatoire : direction du mouvement aléatoire (4 états)équiprobales.

PA : position d’une particule à chaque étapeSA : particule numéro 1. X(t,ω1)=X1(t) : position à chaque étapeProcessus aléatoire en temps et espace discret (vecteur (x,y))

Vitesse du vent enregistré en un lieu géographique avec plusieurs capteurs en fonction du temps.

(3/3)

Page 30: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Exemple

Si l’on crée simultanément, dans des conditions expérimentales semblables,plusieurs écoulements turbulents, on dispose d’un ensemble d’observationsdifférentes mais donc chacune représente une représentation particulière duprocessus.

Processus aléatoire continu : Écoulement turbulent d’un fluide

La mesure, sur un écoulement, donné de la vitesse locale instantanée donne:

un signal aléatoire

L’ensemble des mesures, sur ces écoulements, à un instant donné ti donne

un échantillon des représentations possibles de la variable aléatoire « vitesse d ’écoulement au temps ti »

(1/2)

),( jtX ω

ii XtX ≡),( ω

),( ωtX

Position de l’observation

Page 31: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Exemple

A condition que le nombre d’observations simultanées soit suffisant, on peut en déduire certaines caractéristiques du processus au temps ti:

Processus aléatoire continu : Ecoulement turbulent d’un fluide

(2/2)

histogramme, valeur moyenne et variance expérimentales

L’observation simultanée d’un tel ensemble est pratiquement irréalisable.

On se contente souvent d’analyser un signal unique correspondant àune réalisation particulière du processus.

Ces informations peuvent être considérées, moyennant certainesconditions, comme caractéristiques du processus global lui-même

Page 32: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Densité de probabilité d’une VA

Une variable aléatoire est caractérisée à l’aide de saloi d’évolution.Celle-ci s’exprime mathématiquement sous la forme d’une densité de probabilité ou fonction de répartition.

xR

Xaω→Ω

fonction de répartition définie à partir de la mesure P sur .

RxxXPtxF iiX ∈∀≤≡ ),();(

Densité de probabilité

),( BΩ

=∈∀≥

+<≤=

∫R

iX

iX

iiX

iXiX

dxtxpRxtxp

dxxXxPdxtxp

dx

txdFtxp i

1);(,0);(

)();(

);();(

Page 33: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Moments d’une variable aléatoire

Soit une variable aléatoire réelle ou complexe . On définit son kième moment par :

)(ωiX

∫∞

∞−

=≡>=< dxtxpxXEtmX iXkk

iiXkki );(][)(,

La moyenne est le premier moment :

La variance est le moment d ’ordre 2de la variable centrée :

][)( iiX XEtm ≡

( ) ∫∞

∞−

−=−≡ dxtxpmxmxEt iXxxiX i);()(][)( 222σ

La connaissance de tous les moments entraîne la connaissance de la loi statistique.

Une variable aléatoire Gaussienne est entièrement déterminée par ses deux premiers moments.

L’analyse spectrale du second ordre repose sur des critères mettant en jeu uniquement lesmoments d ’ordre 1 et 2.

Page 34: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Stationnarité d’un PA

Un processus aléatoire est stationnaire au sens strict si toutes ses propriétésstatistiques sont invariantes dans le temps.

Il est dit stationnaire du deuxième ordre si seules ses caractéristiques d’ordre 1 et d ’ordre 2 sont invariantes dans le temps.

iXiX txptxp ∀= )();(

),(),( ωω tXtX ≡

tt1 t2

),( ωtX

1ωaléatoire variable≡iX

22,1,1 )(,)( XiXXiX tmtm σσ ==

(1/2)

Page 35: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

X(t,ω)

tt1 t2 t3

pX(ω,t1) pX(ω,t2) pX(ω,t3)

X(t,ω1)=X1(t)

X(t,ω2)=X2(t)

SA

VA

(2/2)Stationnarité d’un PA22

,1,1 )(,)( XiXXiX tmtm σσ ==

iXiX txptxp ∀= )();(

Capteur 1

Capteur 3

Capteur 4

Capteur 2

Page 36: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

En pratique, l’étude d’un processus aléatoire se résume bien souvent à l’exploitation de son information temporelle, le plus souvent tronquée.

Or un processus aléatoire est soumis à des fluctuations alors que l’on a seulementaccès à une réalisation particulière du phénomème.

Afin d’apporter des informations sur les grandeurs statistiques, il faudrait pouvoirrépéter un grand nombre de fois la même expérience; ce qui n’est pas toujoursréalisable.

On exploite alors le caractère ergodique qui consiste à admettre que l’évolutiond’un signal aléatoire au cours du temps apporte une information du même typeque l’examen à un instant donné d’un ensemble de réalisations de la variable aléatoire.

Ergodisme (1/3)

Page 37: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Ergodisme

X(t,ω)

tt1 t2 t3

pX(ω,t1) pX(ω,t2) pX(ω,t3)

X(t,ω1)=X1(t)

SA

VA

(2/3)

Capteur 1

Capteur 2

Capteur 3

Page 38: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Ergodisme (3/3)

En pratique, on peut estimer empiriquement les deux premiers moments dusignal aléatoire avec ses moyennes temporelles d’ordre 1 et 2.

),( ωtX Processus aléatoire (causal) , ergodique d’ordre deux et stationnaire :

===

===

∫∫

∫∫

∞→

∞+

∞−

∞→

∞+

∞−T

TX

T

TX

dttXT

XdxxpxXE

dttXT

XdxxxpXE

0

2222

0

)(1

lim)(][

)(1

lim)(][

Un processus aléatoire est dit ergodique si l ’on peut identifier les valeursmoyennes statistiques aux valeurs moyennes temporelles.

Écart-type représente l ’équivalent pour les signaux aléatoires de la valeur efficace

Page 39: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Ergodisme et et stationnaritéen pratique (1/2)

Exemple. Considérons un ensemble de N capteurs appelés hydrophonesrépartis sur un plan d’eau.Chaque capteur enregistre la pression

Soumis à un champ de pression calme et stable, chaque capteur voit la pression fluctuer autour d’une pression moyenne.

Nltpl L1)( ∈∀

variable aléatoire :

signal aléatoire :

),( ptXprocessus aléatoire :

),( ptX i

À chaque temps ti, nous avons N réalisations de la variable aléatoire

),( jptXnous avons N signaux aléatoires

Un peu de pratique...

Page 40: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Ergodisme et stationnaritéen pratique (2/2)

Exemple. Considérons un ensemble de N capteurs appelés hydrophones répartis sur un plan d’eau.Chaque capteur enregistre la pression.Soumis à un champ de pression calme et stable, chaque capteur voit la pression fluctuer autour d’une pression moyenne.

Nltpl L1)( ∈∀

∑=

==N

llX tp

NmptXE

100 )(1ˆ)],([ˆ

Ne connaissant pas a priori la loi de distribution de cette variable, il faut déterminer le moment du premier ordre à l ’aide d’une estimation calculée à la date to, à partir de l’ensemble des capteurs :

On peut également enregistrer la pression sur une durée suffisante T,et en déduire la pression moyenne estimée sur un capteur quelconque l: ∫

=2/

2/

)(1ˆ

T

Tll dttp

Tp

Sous les trois conditions suivantes : - le phénomène doit être stationnaire afin que mX et ne dépendent pas de l’instant auquel on les calcule, - tous les capteurs doivent être soumis aux mêmes conditions physiques (milieu homogène), - le nombre d’hydrophones doit être suffisant pour que l’estimation de mX soit réaliste.

lp

On a alors :Le processus aléatoire représentant la valeur de la pression acoustique sur un plan d’eau est

ergodique au 1er ordre si et seulement si lX pm ˆˆ =

Un peu de pratique...

Page 41: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité

Le calcul de la ddp pX d’une variable aléatoire est généralement impossible.On l’estime à partir de l’histogramme. On mesure la proportion du nombred’événement où à pris la valeur xi à ∆x /2 près

ß histogramme:

N(m) = nombre d'événements: » xi à +- ∆x/2 près »

x

m ∆x

(m+1) ∆x

N(m)

précision de la mesure

( )[ ] ( )

[ ]( )

mes

p

mk

N

mesN

N

kNxpXxmet

NmN

xXxm

mes

mes

∑−

=

∞→

∞→

=∆<≤∆

=∆+<≤∆⇒

1

lim Prob

lim1m Prob

Nmes = nombre total de mesures

(1/7)

)(ωX

=)(ωX

Un peu de pratique...

xi

Page 42: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité (2/7)

Lorsque ∆x → dx l'histogramme devient une fonction continue de x.

( ) dxxnmN )(→⇒ = nombre d'événements où ∈[x, x+dx]

[ ] ( ) )()()( Prob 1221

2

1

xFxFdxxpxXx XX

x

xX −==<≤⇒ ∫ω

( ) ( )mes

NX Nxn

xpmes +∞→

= limoù = densité de probabilité de ),()( ωω itXX =

( ) 1,et =∫+∞

∞−

dxtxp iX

)(ωX

Un peu de pratique...

Probabilité élémentaire[ ]dxxXx +<≤ )( Prob ω

Page 43: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité (3/7)

Pour une variable aléatoire de distribution continue, la probabilité d’observer une valeur

réelle x donnée est donc nulle quelle que soit x.

Un peu de pratique...

[ ][ ] [ ][ ] 0)()(lim)( Prob

)( Problim)( Prob

)()()( Prob

0

0

=−+==

+<≤==−+=+<≤

+

+

xFxFxX

xXxxX

xFxFxXx

XX

XX

εω

εωωεεω

ε

ε

Si on découpe un solide en morceaux de plus en plus petits, on peut encore parler de la masse de chacun d'eux. À la limite, la masse d'un "point matériel", notion tout à fait abstraite, est évidemment nulle alors que la masse d'un morceau ne l'est pas.

Page 44: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité

Exemple d’estimation d’une densité de probabilité

),X(t encoreou )( 1 ωωω XR

Xa

→ΩXp

x

)(ˆ xPX

(4/7)

Augmenter le nombre de case, revient à diminuer le nombred ’événements dans chaque case -> estimation non significative

Un peu de pratique...

Page 45: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité

Autres exemples de densité de probabilitéddp gaussienne

ddp uniforme

(5/7)

bxsixFaxsixF

bxasiabax

xF

baxsiab

x

baxsixxp

X

X

X

X

≥=≤=

≤≤−−

=

∈−

,1)(,0)(

,)(

],[,1

],[,0:)(

a

a

2

2

2)(

21

)( σ

πσ

mx

X exp−

−=

Un peu de pratique...

a b

Page 46: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité

Autres exemples de densité de probabilité

(6/7)Un peu de pratique...

ddp uniforme

≤≤=

autrement

CCCf,0

20,21

)(

20,41

)( 2 ≤≤= CCCF

C=sqrt(A)*2;

A

bxsixFaxsixF

bxasiabat

xF

baxsiab

x

baxsixxp

X

X

X

X

≥=≤=

≤≤−−

=

∈−

,1)(,0)(

,)(

],[,1

],[,0:)(

a

a

Page 47: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Estimation d’une densité de probabilité

Histogramme et densité de probabilité

Exemple de programme sous Matlab

alenor=rand(1,2048);alenorc=alenor-mean(alenor);[histogramme position ]=hist(alenorc,20);plot(position, histogramme);

aleuni=randn(1,2048);aleunic=aleuni-mean(aleuni);[histogramme position ]=hist(aleuni,20);plot(position, histogramme);

RAND Uniformly distributed random numbers.

RANDN Normally distributed random numbers.

(7/7)Un peu de pratique...

Page 48: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Exercices de programmation

Histogramme et densité de probabilité. Le but est de se familiariser avec la distribution gaussienne couramment utilisée entraitement du signal.

1. Générer à l ’aide de la fonction randn 1000 échantillons aléatoires de loi normale centrée réduite (loi de Laplace Gauss de moyenne nulle et de variance égale à 1. Représenter son histogramme, et superposer la représentation de la loi théorique.(randn, hist, exp, bar, plot)

2. Recommencer l’expérience avec une loi Gaussienne de moyenne non nulle. Faire ensuite évoluer la variance. (exp)

3. Pour l ’une de ces lois, réduire le nombre d’échantillon de 1000 à 20. Représenter l ’histogramme.(randn, hist, exp, bar, plot)

(1/7)Un peu de pratique...

4. Dans une image I, les niveaux de gris d’une région homogène mais bruitée, vérifient une loi Gaussienne de moyenne 10 et d’écart-type 0.4. Pour obtenir par exemple un marqueur, nous souhaitons filtrer les pixels (bruit) ne vérifiant pas 9,5<ng<10,5. Quel est le pourcentage de pixels filtrés ? (calcul numérique approximatif à partir de la ddp.)

Page 49: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Ntotal=1000;mu=0;sigma=1; %Moyenne et ecart-type

ech=randn(1,Ntotal).*sigma+mu;

Nclas=8; [N,X]=hist(ech,Nclas);

dx=.01;x=mu-4*sigma:dx:mu+4*sigma;y=exp(-0.5*((x-mu)/sigma).^2)/(sqrt(2*pi)*sigma);

figure(1);clf;zoom on; subplot(221);hold on;bar(X,N/Ntotal); plot(x,y,'r'); title('N(0,1),Echantillon:1000 pts'); subplot(212);hold on;plot(x,y,'r')

1. Générer à l ’aide de la fonction randn 1000 échantillons aléatoires de loi normale centrée réduite (loi de Laplace Gauss de moyenne nulle et de variance égale à 1. Représenter son histogramme, et superposer la représentation de la loi théorique.

(2/7)Exercices de programmationUn peu de pratique...

2

2

2)(

21

)( σ

πσ

mx

X exp−

−=

Page 50: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

%% Changement de moyennemu=2;sigma=1;x=mu-4*sigma:dx:mu+4*sigma;

y=exp(-0.5*((x-mu)/sigma).^2)/(sqrt(2*pi)*sigma);subplot(212); hold on; plot(x,y,'b--');

%% Changement d ’écart-typemu=2;sigma=5;x=mu-4*sigma:dx:mu+4*sigma;

y=exp(-0.5*((x-mu)/sigma).^2)/(sqrt(2*pi)*sigma);subplot(212); hold on; plot(x,y,'g+');grid;

legend('Loi N(0,1)', 'Loi N(2,1)', 'Loi N(2,25)')

2. Recommencer l’expérience avec une loi Gaussienne de moyenne non nulle. Faire ensuite évoluer la variance.

(3/7)Exercices de programmationUn peu de pratique...

2

2

2)(

21

)( σ

πσ

mx

X exp−

−=

Page 51: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

3. Pour l ’une de ces lois, réduire le nombre d’échantillon de 1000 à 20. Représenter l’histogramme.

%% Changement de la taille de l'échantillon aléatoire Ntotal=20;mu=0;sigma=1;

ech=randn(1,Ntotal)*sigma+mu;

Nclas=8;[N,X]=hist(ech,Nclas);

x=mu-4*sigma:dx:mu+4*sigma;y=exp(-0.5*((x-mu)/sigma).^2)/(sqrt(2*pi)*sigma);

subplot(222); hold on; bar(X,N/Ntotal); plot(x,y,'r'); title('N(0,1), Echantillon : 20 pts')

(4/7)Exercices de programmationUn peu de pratique...

Page 52: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Distrribution de poids de probabilité et fonctions de densité de probabilité

Il est difficiled’estimer lespropriétésstatistiques(2ième réalisation)

L’air sous lacourbe esttoujourségale à 1

(5/7)Exercices de programmationUn peu de pratique...

Page 53: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

(6/7)Exercices de programmation

mu=10;sigma=0.4;dx=.01;x=mu-4*sigma:dx:mu+4*sigma;y=exp(-0.5*((x-mu)/sigma).^2)/(sqrt(2*pi)*sigma);figure(1);clf;zoom on; hold on; plot(x,y);

%Remplissage de l'aire à intégrerdeltax=0.01;abscisse=x(1):deltax:9.5;ordonnee=exp(-0.5*((abscisse-mu)/sigma).^2)/(sqrt(2*pi)*sigma);bar(abscisse,ordonnee); abscisse=10.5:deltax:x(length(x));ordonnee=exp(-0.5*((abscisse-mu)/sigma).^2)/(sqrt(2*pi)*sigma);bar(abscisse,ordonnee);legend('Distribution Gaussienne', 'Zone de rejet')%% Estimation de la probabilité de rejet de la piècedemi_aire=sum(ordonnee*deltax);proba=2*demi_aire

Un peu de pratique...

4. Dans une image I, les niveaux de gris d’une région homogène mais bruitée, vérifient une loi Gaussienne de moyenne 10 et d’écart-type 0.4. Pour obtenir par exemple un marqueur, nous souhaitons filtrer les pixels (bruit) ne vérifiant pas 9,5<ng<=10,5. Quel est le pourcentage de pixels filtrés ? (calcul numérique approximatif à partir de la ddp.)

ng<9,5

ng>=10,5

2

2

2)(

21

)( σ

πσ

mx

X exp−

−=

]5.10[Pr]5.9[Pr ≥+< ngobngob

Page 54: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

(7/7)Exercices de programmation

4. Dans une image I, les niveaux de gris d’une région homogène mais bruitée, vérifient une loi gaussienne de moyenne 10 et d’écart-type 0.4. Pour obtenir par exemple un marqueur, nous souhaitons filtrer les pixels (bruit) vérifiant 9,5<ng<10,5. Quel est le pourcentage de pixels filtrés ? (calcul numérique approximatif à partir de la ddp.)

Niveaux de gris rejetés Proba=0,2158

1 pixel sur 5 sera rejeté.

Un peu de pratique...

Rappel : Probabilité pour que 10-0.4<ng<10+0.4= 0.68

Page 55: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Exercice

Soient deux images satellite d’une même région. Ces images sont pris sur des canaux différents.On suppose l’indépendance entre les deux canaux. On additionne les deux images. On souhaite connaître la ddp d’une zone homogène de la région sur l’image SOMME à partirde la ddp de cette même zone sur chacune des images.

Autrement dit : X et Y sont deux V.A. indépendantes de DDP connue. Quelle est la relationentre la ddp de Z=X+Y et celles de X et Y ?

Conséquence de l ’indépendance

La densité de probabilité d ’une somme de deux variables aléatoires indépendantes est égale à laconvolution des densités de probabilité des variables

A.N. Image 1 et 2 : zone de ddp uniforme sur l’intervalle 90-110: ]110,90[1.201

)()(21

== xpxp II

La ddp de la somme des deux images : tri((t-200)/40). ∫ ==<<210

190

75,0)(]210190[ dxxpSngP S

Un peu de pratique...

(1/1)

Page 56: Traitement du Signal Avancé - matencrete.free.frmatencrete.free.fr/data/cours/Master1/Traitement du Signal/cours... · Traitement du Signal Avanc ... variable aléatoire, signal

Exercice

Soient deux images satellite d’une même région. Ces images sont pris sur des canaux différents.On suppose l’indépendance entre les deux canaux. On additionne les deux images. On souhaite connaître la ddp d’une zone homogène de la région sur l’image SOMME à partirde la ddp de cette même zone sur chacune des images.

Autrement dit : X et Y sont deux V.A. indépendantes de DDP connue. Quelle est la relationentre la ddp de Z=X+Y et celles de X et Y ?

Un peu de pratique...

1/20 1/20

+ =

90 110 11090 180 220

1/20

fX(ng) fY(ng) FX+Y(ng)

ng ng ng

(2/2)

∑=

−====+255

0

)().()(k

knYPkXPnYXP